从稀疏数据结构到量化数据类型 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 本课涵盖：稀疏矩阵、 unordered_map 、空间稀 疏网格、位运算、浮点的二进制格式、内存带宽优 化 面向人群：图形学、 ，反之则是未激活 (inactive) 。 这就是稀疏的好处，按需分配，自动扩容。 分块则是利用了我们存储的数据常常有着空间局域性的特点，减轻哈希表的压 力，同时在每个块内部也可以快乐地 SIMD 矢量化， CPU 自动预取之类的。 第 2 章：位运算 稀疏的好处：坐标可以是负数 这样即使坐标为负数，或者可以是任意大的坐标，都不会产生越界错误。 但是分块存储时负数却导致出错了 为什么 segf collapse(2) 遍历二维区间。 把 func 捕获为 firstprivate ，从而支持用 lambda 捕获的访问者模式。 实现访问者模式 • 额，总之就是每一层都有一个缓存。 第 5 章：量化整型 使用 int ：每个占据 4 字节 • 记得我第七课说过，一个简单的循环体往 往会导致内存成为瓶颈（ memory- bound ）。 • 右边就是一个很好的例子。 使用 int64_t

• addps ：四个 float 加法。 • addpd ：两个 double 加法。 省流助手： 如果你看到编译器生成的汇编里，有大量 ss 结尾 的指令则说明矢量化失败；如果看到大多数都是 ps 结尾则说明矢量化成功。 xmm0 xmm1 xmm0 addss %xmm1, %xmm0 addps %xmm1, %xmm0 xmm0 xmm1 xmm0 为什么需要 SIMD 语言。 编译器优化：合并写入 将两个 int32 的写入合 并为一个 int64 的写入 。 合并写入：不能跳跃 但如果访问的两个元素地 址间有跳跃，就不能合并 了。 第 4 章：矢量化 更宽的合并写入：矢量化指令（ SIMD ） 两个 int32 可以合并为一个 int64 四个 int32 可以合并为一个 __m128 xmm0 由 SSE 引入，是个 128 位寄存 器 他可以一次存储 看不懂？很简单，假设 n = 1023 ： 先对前 1020 个元素用 SIMD 指令填入，每次处理 4 个 剩下 3 个元素用传统的标量方式填入，每次处理 1 个 思想：对边界特殊处理，而对大部分数据能够矢量化 编译器做优化时会自动处理边界特 判。如果你是自己手写 SIMD 指令 的话就要考虑一下这个。 n 总是 4 的倍数？避免边界特判 如果你能保证 n 总是 4 的倍数，也可以这样写： 编译器会发现

。 • 计算太简单，数据量又大，并行只带来了多线程调度的额外开销 。 • 小彭老师经验公式： 1 次浮点读写 ≈ 8 次浮点加法 • 如果矢量化成功（ SSE ）： 1 次浮点读写 ≈ 32 次浮点加法 • 如果 CPU 有 4 核且矢量化成功： 1 次浮点读写 ≈ 128 次浮点加 法 常见操作所花费的时间 • 图中加法 (add) 和乘法 (mul) 都指的整数。 • 区别是浮点的乘法和加法基本是一样速度。 要 SIMD 矢量化的话可能还是要 SOA 或 AOSOA ，比如 hw04 那种的。而 “ pos 和 vel 应该用 SOA 分开存”是没问题的。 • 而且 SOA 在遇到存储不是 vector ，而是稀疏的哈希网格之类索引有一定 开销的数据结构，可能就不适合了。这就是为什么王鑫磊最喜欢 AOSOA ：在高层保持 AOS 的统一索引，底层又享受 SOA 带来的矢量化 和缓存行预取等好处……就是随机索引比较麻烦。 写回执行完成，然后重 新读取到缓存，反而更低效。 • 因此，仅当这些情况： 1. 该数组只有写入，之前完全没有读取过 。 2. 之后没有再读取该数组的地方。 • 才应该用 stream 指令。 4 倍矢量化的版本： _mm_stream_ps • _mm_stream_si32 可以一次性写入 4 字 节到挂起队列。而 _mm_stream_ps 可以 一次性写入 16 字节到挂起队列，更加高

IO 的场景。具有非常强大的生 态。 tokio 第一个适配 Rust async/await 原语 的运行时库，与 tokio 类似支持异步 IO ，目前已经半废弃 async-std 更轻量化的调度框架，功能被拆分 到其他多个库中， IO 密集场景性 能不如 Tokio smol Rayon 并非异步运行时。它通过同步 多线程模型提供了并行迭代器功能， 适用于处理 CPU 密集型计算任务

局限性大，内部推广难度极高，做完后维 护成本高价值难被证明 低采购成本、低实施成本， 内置模板库和最佳实践；高扩展性、技术先进性强 ，可灵活广泛接入现有工具链和业务场景 基于代码管理的 DevOps 方 案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 支持多个服务并行构建部署、产品级发布，可灵活 安全接入多个代码仓及周边工具链 Zadig 与现存 DevOps 整体生产力提升一倍以上 4. 大幅降低发布事故和错误率 自动化测试场景：上千测试用例为发布保驾护航 — — 字 节 跳 动 - 飞 书 S R E 工 程 师 “ Z a d i g 解 决 方 案 面 向 开 源 ， 可 用 性 极 高 ， 通 用 性 场 景 适 配 性 强 ， 重 复 利 用 度 高 。 市 面 上 的 其 他 产 品 基 本 没 办 法 解 决 微 服 务 联 调 的 问 • 三套环境（ dev 、 qa 、 prod ） 现状：基于 GitLab + Helm Chart 模版 + 多套 values 方 案 一 ： G e r r i t + Z a d i g 方 案 二 ： G i t l a b + Z a d i g 非 核 心 服 务 ： 采 用 单 分 支 模 型 m a s t e r 发 版 。 核 心 服

auto_partitioner 快 3.31 倍 原因 • tbb::simple_partitioner 能够按照给定的粒度 大小（ grain ）将矩阵进行分块。块内部小区 域按照常规的两层循环访问以便矢量化，块外 部大区域则以类似 Z 字型的曲线遍历，这样 能保证每次访问的数据在地址上比较靠近，并 且都是最近访问过的，从而已经在缓存里可以 直接读写，避免了从主内存读写的超高延迟。 • 下次课会进一步深入探讨访存优化，详细剖析

ghost cell 处理方式 ，这里用了 std::min 和 std::max 来防止 访问越界。主要是 GPU 的 SIMT 处理这 个比较擅长，不像 CPU 如果这样来钳制 可能导致矢量化失败。 减轻 membound ：一次代替四次迭代 • 和第七课提到的循环合并法局部迭代一样的方式 。 • 不过这里改用了 GPU 的板块共享内存，线程之 间自动并行，没有像 CPU 那样用循环。