从稀疏数据结构到量化数据类型 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 本课涵盖：稀疏矩阵、 unordered_map 、空间稀 疏网格、位运算、浮点的二进制格式、内存带宽优 化 面向人群：图形学、 是负数，则得到的模也是负数。 Python 的 % 就没问题 • 7 % 4 = 3 • -7 % 4 = 1 • Python 的模运算 a % b 的值始终是 [0, b) 区间内的正数，非常方便。 对稀疏数据结构造成的问题 • 如果这里的 x 是负数，则 x % B 也是负数，会造成对 m_block 的越界访问。 • 因此 % 会返回负数对 CFD 用户来说是个很大的坑点，很多人想当然地用 % 做循环边界， 是正数，则是向下取整。 Python 的 // 就没问题 • 7 // 4 = 1 • -7 // 4 = -2 • Python 的整除运算 a // b 的值始终是向下取整，非常方便。 对稀疏数据结构造成的问题 • 也就是说，如果 x 是 [-3,0] 则 x / B 会是 0 ，如果 x 是 [0,3] 则 x / B 也是 0 。导致两个 同时跑到一个 block 上去，会出错。 高效的解决：位运算

通常来说，并行只能加速计算的部分，不能加速内存读写的部分 。 • 因此，对 fill 这种没有任何计算量，纯粹只有访存的循环体，并 行没有加速效果。称为内存瓶颈（ memory-bound ）。 • 而 sine 这种内部需要泰勒展开来计算，每次迭代计算量很大的 循环体，并行才有较好的加速效果。称为计算瓶颈（ cpu- bound ）。 • 并行能减轻计算瓶颈，但不减轻内存瓶颈，故后者是优化的重点 如果有，则直接使用缓存中的数据。 • 这样一来，访问的数据量比较小时，就可以自动预先加 载到这个更高效的缓存里，然后再开始做运算，从而避 免从外部内存读写的超高延迟。 缓存的分级结构 查看高速缓存大小： lscpu • 可以看到我们 x86 电脑的缓存结构分为三级。 • 一级缓存分为数据缓存和指令缓存，其中数据缓存有 32 KB ， 6 个物理核心每个都有一个，总共 192 KB 。而指令缓存的大小刚好和数据缓存一样也是 。而指令缓存的大小刚好和数据缓存一样也是 192 KB 。 • 二级缓存有 256 KB ， 6 个物理核心每个都有一个， 总共 1.5 MB 。 • 三级缓存由各个物理核心共享，总共 12 MB 。 通过图形界面查看拓扑结构： lstopo 根据我们缓存的大小分析刚刚的图表 • 也可以看到刚刚两个出现转折的点，也是在 二级缓存和三级缓存的大小附近。 • 因此，数据小到装的进二级缓存，则最大带 宽就取决于二级缓存的带宽。稍微大一点则

被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 bitset, glm::vec, string_view • pair, tuple, optional, variant 存储在栈上无法动态扩充大小，这就是 为什么 vector 这种数据结构要存在堆上 ，而固定长度的 array 可以存在栈上 那么刚才那个例子改成 array 是不是就可 以自动优化成功了？你可以自己试试看， 想一想，为什么会是这个结果，然后在作 业的 PR 描述中和老师分享你的思考 @PLT 表示未定义 对象。减轻了链接器的负担。 编译器优化：内联化 只有定义在同一个文件的函数可以被内联 ！否则编译器看不见函数体里的内容怎么 内联呢？ 为了效率我们可以尽量把常用函数定义在 头文件里，然后声明为 static 。这样调用 他们的时候编译器看得到他们的函数体， 从而有机会内联。 内联：当编译器看得到被调用函数（ other ）实现的时候 ，会直接把函数实现贴到调用他的函数（ func

被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 表达式 • C++11 引入的 lambda 表达式允许我们 在函数体内创建一个函数，大大地方便了 函数式编程。 • 语法就是先一个空的 [] ，然后是参数列表 ，然后是 {} 包裹的函数体。 • 再也不用被迫添加一个全局函数了！ lambda 表达式：返回类型 • lambda 表达式的返回类型写在参数列表 后面，用一个箭头 -> 表示。 lambda 表达式：自动推导返回类型 等价，自动根据函数体内 的 return 语句决定返回类型，如果没有 return 语句则相当于 -> void 。 lambda 表达式：捕获 main 中的变量 • lambda 函数体中，还可以使用定义他的 main 函数中的变量，只需要把方括号 [] 改成 [&] 即可： • 函数可以引用定义位置所有的变量，这个 特性在函数式编程中称为闭包 (closure) 。 lambda

被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 第 2 章：异步 异步好帮手： std::async • std::async 接受一个带返回值的 lambda ，自身返回一个 std::future 对象 。 • lambda 的函数体将在另一个线程里执行 。 • 接下来你可以在 main 里面做一些别的事 情， download 会持续在后台悄悄运行。 • 最后调用 future 的 get() 方法，如果此时 download 相比普通的 std::mutex 有一定性能损失。 • 同理还有 std::recursive_timed_mutex ， 如果你同时需要 try_lock_for() 的话。 第 5 章：数据结构 案例：多线程环境中使用 std::vector • 刚才说了， vector 不是多线程安全的容器 。 • 多个线程同时访问同一个 vector 会出现 数据竞争（ data-race ）现象。

device 可以调用 device 。 声明为内联函数 • 注意， inline 在现代 C++ 中的效果是声明一个函数为 weak 符号，和性能优化意义上的内联无关。 • 优化意义上的内联指把函数体直接放到调用者那里去。 • 因此 CUDA 编译器提供了一个“私货”关键字： __inline__ 来 声明一个函数为内联。不论是 CPU 函数还是 GPU 都可以使 用，只要你用的 CUDA 编译器。 CPU 还是 GPU 上都是一模一样的，都可以访问。而 且拷贝也会自动按需进行（当从 CPU 访 问时），无需手动调用 cudaMemcpy ，大 大方便了编程人员，特别是含有指针的一 些数据结构。 注意不要混淆 • 主机内存 (host) ： malloc 、 free • 设备内存 (device) ： cudaMalloc 、 cudaFree • 统一内存 (managed) arr_data 变量，然后用 [=] 按值捕获 arr_data ，函数体里面也通过 arr_data 来访问 arr 。 • 为什么这样？因为 data() 返回一个起始地 址的原始指针，而原始指针是浅拷贝的， 所以可以拷贝到 GPU 上，让他访问。这 样和之前作为核函数参数是一样的，不过 是作为 Func 结构体统一传入了。 如何捕获外部变量？ • 或者在 [] 里这样直接写自定义捕获的表达

被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 tbb::auto_partitioner （默认） 自动根据 lambda 中函数的执行时间判断 采用何种分配方法。 tbb::static_partitioner 用于循环体不均匀的情况效果不好 tbb::simple_partitioner 用于循环体不均匀的情况效果很好 tbb::affinity_partitioner 记录历史，下次根据经验自动负载均衡 tbb::simple_partitioner (auto &dat: dats) 是可以并行的， 试试看用 tbb::parallel_for_each 替代？ 简单粗暴并行 for 加速比： 3.16 倍 很不理想，为什么？ 很简单，循环体太大，每跑一遍指令缓存和数据缓存都 会重新失效一遍。且每个核心都在读写不同地方的数据 ，不能很好的利用三级缓存，导致内存成为瓶颈。 拆分为三个 for 加速比： 3.47 倍 解决了指令缓存失效问题，但是三次独立的

。 • 例如：一个同学问小彭老师在干嘛？ • 小彭老师说“我在吃答辩。”那么同学认为这个答辩指的是三体动画，小彭老师在看三体动画。 而不会认为小彭老师真的在吃答辩。 • 小彭老师说“我在拉答辩。”那么同学认为这个答辩指的是答辩（物理），小彭老师在上厕所。 而不会认为小彭老师在制作三体动画。 • 所以这位同学是人类思维，相当于 Python 的精分 API 。而如果另一个同学是硬核的计算 map::value_type 是 pair 。 • 这很合理，虽然只针对 K 排序，但实际上 K 和 V 是捆绑在一起的。 • pair 就是这样一个结构，前 K 后 V ，在内存中也是紧挨着。 k k k k k k k k k k k k v v v v v v set map map 的元素类型是…… 里面的循环体，会对每个不同的 it 执行一遍。 • 由于里面是 auto &[k, v] = *it; 而 it 的 operator* 会返回该迭代器所指向元素（的引用） 。 • 所以 [k, v] 就会被 structural-binding 分别绑定到当前遍历到的元素的 K 和 V 上了。 • 然后从程序员的黑盒视角看来，就是对于所有 map 中的 K-V 对执行了一遍循环体。 迭代器

专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性 达到国际先进水平， 其中异质图建模与表示学习技术和超大规模图学习系统处于国际领 先水平。” 以终为始，以行为知，这一项目从图计算所面临的挑战出发，解决了大规模图数据所产生 的建模能力不足、结构知识难用、巨量数据难算等技术挑战，实现了大规模复杂异质图数 据的表示学习模型、语义推荐和风险管理关键技术，构建了完整的兼具理论指导与应用检 验的大规模图数据智能分析系统与平台，满足了大数据时代从复杂异质图数据中进行知识 之间的传递过程和传递概率 图深度学习及其应用场景 图嵌入 • 将高维的图信息映射到低维向量中 • 通过图嵌入将客户关系表示为低维向量，可以结合其 他客户行为特征进行机器学习训练 图卷积神经网络 • 对图结构数据进行卷积计算 • 通过已有的企业数据，通过 GCN 进行半监督学习和分 类，预测企业的违约概率 传统的关系型数据库的存储方式丢失了事物之间的关系信息 Relational Table Real

struct pair { • iterator first; • bool second; • }; 使用 C++17 的结构化绑定来拆解 pair • C++17 提供了结构化绑定 (structual binding) 的语法， 可以取出一个 POD 结构体 的所有成员， pair 也不例外 。 • auto [ok, it] = b.insert(3); • 等价于 • auto