指的是分支预测是否成功。 多少计算量才算多？ • 看右边的 func ，够复杂了吧？也只是勉勉强强超过一 点内存的延迟了，但在 6 个物理核心上并行加速后， 还是变成 mem-bound 了。 • 加速比： 1.36 倍 • 应该达到 6 倍（物理核心数量）才算理想加速比。 加速曲线 • funcA 用了 2 核就饱和。 • funcB 用了 4 核才饱和。 • funcC 用了 电脑的缓存结构分为三级。 • 一级缓存分为数据缓存和指令缓存，其中数据缓存有 32 KB ， 6 个物理核心每个都有一个，总共 192 KB 。而指令缓存的大小刚好和数据缓存一样也是 192 KB 。 • 二级缓存有 256 KB ， 6 个物理核心每个都有一个， 总共 1.5 MB 。 • 三级缓存由各个物理核心共享，总共 12 MB 。 通过图形界面查看拓扑结构： lstopo 根据我们缓存的大小分析刚刚的图表 每个元素只需要访问两遍内存。对这种完全 mem-bound 的程 序而言就是加速了 2 倍。 测试结果 可见，能否很好的利用缓存，和程序访问内存的时间局域性有关。 案例：一维 jacobi 迭代 • 一些物理仿真中，常用到这种形式的迭代法： • for (i=0...n) b[i] = a[i + 1] + a[i - 1]; // 假装是 jacobi • swap(a, b); // 交换双缓冲

法占用的峰值内存不能超过系统剩余内存；若运行的程序很多、缺少大块连续的内存空间，则要求选取的数据 结构必须能够存储在离散的内存空间内。 3.2. 数据结构分类 数据结构主要可根据「逻辑结构」和「物理结构」两种角度进行分类。 3.2.1. 逻辑结构：线性与非线性 「逻辑结构」反映了数据之间的逻辑关系。数组和链表的数据按照顺序依次排列，反映了数据间的线性关系；树 从顶至底按层级排列，反映了祖 Figure 3‑3. 线性与非线性数据结构 3.2.2. 物理结构：连续与离散 � 若感到阅读困难，建议先看完下个章节「数组与链表」，再回过头来理解物理结构的含义。 3. 数据结构简介 hello‑algo.com 42 「物理结构」反映了数据在计算机内存中的存储方式。从本质上看，分别是 数组的连续空间存储 和 链表的离散 空间存储。物理结构从底层上决定了数据的访问、更新、增删等操作方法，在时间效率和空间效率方面呈现出 数据结构主要可以从逻辑结构和物理结构两个角度进行分类。逻辑结构反映了数据中元素之间的逻辑关 系，物理结构反映了数据在计算机内存中的存储形式。 3. 数据结构简介 hello‑algo.com 43 ‧ 常见的逻辑结构有线性、树状、网状等。我们一般根据逻辑结构将数据结构分为线性（数组、链表、栈、 队列）和非线性（树、图、堆）两种。根据实现方式的不同，哈希表可能是线性或非线性。 ‧ 物理结构主要有两种，

它为数据的有序组织提供了蓝图，算法得以在此基础上生动起来。 第 3 章 数据结构 hello‑algo.com 52 3.1 数据结构分类 常见的数据结构包括数组、链表、栈、队列、哈希表、树、堆、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向 非线性数据结构可以进一步划分为树形结构和网状结构。 ‧ 树形结构：树、堆、哈希表，元素之间是一对多的关系。 ‧ 网状结构：图，元素之间是多对多的关系。 图 3‑1 线性数据结构与非线性数据结构 3.1.2 物理结构：连续与分散 当算法程序运行时，正在处理的数据主要存储在内存中。图 3‑2 展示了一个计算机内存条，其中每个黑色方 块都包含一块内存空间。我们可以将内存想象成一个巨大的 Excel 表格，其中每个单元格都可以存储一定大 空间、内存管理、缓存机制、虚拟内存和物理内存等概念。 内存是所有程序的共享资源，当某块内存被某个程序占用时，则无法被其他程序同时使用了。因此在数据结 构与算法的设计中，内存资源是一个重要的考虑因素。比如，算法所占用的内存峰值不应超过系统剩余空闲 内存；如果缺少连续大块的内存空间，那么所选用的数据结构必须能够存储在分散的内存空间内。 如图 3‑3 所示，物理结构反映了数据在计算机内存中的存储方

它为数据的有序组织提供了蓝图，算法得以在此基础上生动起来。 第 3 章 数据结构 hello‑algo.com 52 3.1 数据结构分类 常见的数据结构包括数组、链表、栈、队列、哈希表、树、堆、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向 非线性数据结构可以进一步划分为树形结构和网状结构。 ‧ 树形结构：树、堆、哈希表，元素之间是一对多的关系。 ‧ 网状结构：图，元素之间是多对多的关系。 图 3‑1 线性数据结构与非线性数据结构 3.1.2 物理结构：连续与分散 当算法程序运行时，正在处理的数据主要存储在内存中。图 3‑2 展示了一个计算机内存条，其中每个黑色方 块都包含一块内存空间。我们可以将内存想象成一个巨大的 Excel 表格，其中每个单元格都可以存储一定大 及地址空间、内存管理、缓存机制、虚拟内存和物理内存等概念。 内存是所有程序的共享资源，当某块内存被某个程序占用时，则无法被其他程序同时使用了。因此在数据结 构与算法的设计中，内存资源是一个重要的考虑因素。比如，算法所占用的内存峰值不应超过系统剩余空闲 内存；如果缺少连续大块的内存空间，那么所选用的数据结构必须能够存储在分散的内存空间内。 如图 3‑3 所示，物理结构反映了数据在计算机内存中的存储方

法占用的峰值内存不能超过系统剩余内存；若运行的程序很多、缺少大块连续的内存空间，则要求选取的数据 结构必须能够存储在离散的内存空间内。 3.2. 数据结构分类 数据结构主要可根据「逻辑结构」和「物理结构」两种角度进行分类。 3.2.1. 逻辑结构：线性与非线性 「逻辑结构」反映了数据之间的逻辑关系。数组和链表的数据按照顺序依次排列，反映了数据间的线性关系；树 从顶至底按层级排列，反映了祖 Figure 3‑3. 线性与非线性数据结构 3.2.2. 物理结构：连续与离散 � 若感到阅读困难，建议先看完下个章节「数组与链表」，再回过头来理解物理结构的含义。 3. 数据结构简介 hello‑algo.com 42 「物理结构」反映了数据在计算机内存中的存储方式。从本质上看，分别是 数组的连续空间存储 和 链表的离散 空间存储。物理结构从底层上决定了数据的访问、更新、增删等操作方法，在时间效率和空间效率方面呈现出 数据结构主要可以从逻辑结构和物理结构两个角度进行分类。逻辑结构反映了数据中元素之间的逻辑关 系，物理结构反映了数据在计算机内存中的存储形式。 3. 数据结构简介 hello‑algo.com 43 ‧ 常见的逻辑结构有线性、树状、网状等。我们一般根据逻辑结构将数据结构分为线性（数组、链表、栈、 队列）和非线性（树、图、堆）两种。根据实现方式的不同，哈希表可能是线性或非线性。 ‧ 物理结构主要有两种，

cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 位（ 32 • 区别在于，一个任务不一定对应一个线程 ，如果任务数量超过 CPU 最大的线程数， 会由 TBB 在用户层负责调度任务运行在 多个预先分配好的线程，而不是由操作系 统负责调度线程运行在多个物理核心。 封装好了： parallel_invoke 更好的例子 第 1 章：并行循环 时间复杂度（ time-efficiency ）与工作量复杂度（ work-efficiency ） • 理想加速比应该是核心的数量。 • for 部分加速比为 5.98 倍。 • reduce 部分加速比为 10.36 倍。 • 提示：老师的电脑是 6 个物理核心， 12 个逻辑核心。 • 似乎这里 reduce 的加速比是逻辑核心数量，而 for 的加速比是物理核心的数量？ • 剧透：因为本例中 reduce 是内存密集型， for 是计算密集型。 • 超线程对 reduce 这种只用了简单的加法，瓶颈在内存的算法起了作用。

基础上生动起来。 第 3 章 数据结构 www.hello‑algo.com 52 3.1 数据结构分类 常见的数据结构包括数组、链表、栈、队列、哈希表、树、堆、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向 非线性数据结构可以进一步划分为树形结构和网状结构。 ‧ 树形结构：树、堆、哈希表，元素之间是一对多的关系。 ‧ 网状结构：图，元素之间是多对多的关系。 图 3‑1 线性数据结构与非线性数据结构 3.1.2 物理结构：连续与分散 当算法程序运行时，正在处理的数据主要存储在内存中。图 3‑2 展示了一个计算机内存条，其中每个黑色方 块都包含一块内存空间。我们可以将内存想象成一个巨大的 Excel 表格，其中每个单元格都可以存储一定大 空间、内存管理、缓存机制、虚拟内存和物理内存等概念。 内存是所有程序的共享资源，当某块内存被某个程序占用时，则通常无法被其他程序同时使用了。因此在数 据结构与算法的设计中，内存资源是一个重要的考虑因素。比如，算法所占用的内存峰值不应超过系统剩余 空闲内存；如果缺少连续大块的内存空间，那么所选用的数据结构必须能够存储在分散的内存空间内。 如图 3‑3 所示，物理结构反映了数据在计算机内存中的存储

非線性資料結構可以進一步劃分為樹形結構和網狀結構。 ‧ 樹形結構：樹、堆積、雜湊表，元素之間是一對多的關係。 ‧ 網狀結構：圖，元素之間是多對多的關係。 圖 3‑1 線性資料結構與非線性資料結構 3.1.2 物理結構：連續與分散 當演算法程式執行時，正在處理的資料主要儲存在記憶體中。圖 3‑2 展示了一個計算機記憶體條，其中每個 黑色方塊都包含一塊記憶體空間。我們可以將記憶體想象成一個巨大的 Excel 位址空間、記憶體管理、快取機制、虛擬記憶體和物理記憶體等概念。 記憶體是所有程式的共享資源，當某塊記憶體被某個程式佔用時，則通常無法被其他程式同時使用了。因此 在資料結構與演算法的設計中，記憶體資源是一個重要的考慮因素。比如，演算法所佔用的記憶體峰值不應 超過系統剩餘空閒記憶體；如果缺少連續大塊的記憶體空間，那麼所選用的資料結構必須能夠儲存在分散的 記憶體空間內。 如圖 3‑3 所示，物理結構反映了資料在計算機 所示，物理結構反映了資料在計算機記憶體中的儲存方式，可分為連續空間儲存（陣列）和分散空 間儲存（鏈結串列）。物理結構從底層決定了資料的訪問、更新、增刪等操作方法，兩種物理結構在時間效率 和空間效率方面呈現出互補的特點。 第 3 章 資料結構 www.hello‑algo.com 54 圖 3‑3 連續空間儲存與分散空間儲存 值得說明的是，所有資料結構都是基於陣列、鏈結串列或二者的組合實現的。例如，堆疊和佇列既可以使用

cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 位（ 32 关重要 。 • 反面教材： blender 在运行物理解算的时候，界面会卡住，算完一帧后窗口才能刷新一遍 ，导致解算过程中基本别想做事，这一定程度上归功于 opengl 原始的单线程设计。 • 正面教材： zeno 可以在解算过程中，随时拖动滑块看前几帧的结果，编辑场景图，修改 节点间的连接，为下一次解算做准备，同时当前已经启动的物理解算还能在后台继续正常 运行。虽然 zeno 也用了 opengl

例如：一个同学问小彭老师在干嘛？ • 小彭老师说“我在吃答辩。”那么同学认为这个答辩指的是三体动画，小彭老师在看三体动画。 而不会认为小彭老师真的在吃答辩。 • 小彭老师说“我在拉答辩。”那么同学认为这个答辩指的是答辩（物理），小彭老师在上厕所。 而不会认为小彭老师在制作三体动画。 • 所以这位同学是人类思维，相当于 Python 的精分 API 。而如果另一个同学是硬核的计算 机思维，相当于 C++ 的一视同仁 insert_or_assign(key, val) 不覆盖写入，要用 m.insert({key, val}) 判断是否存在，用 m.count(key) 若存在则删除，用 m.erase(key) 第四章：迭代与遍历 物理格式 逻辑格式 面壁者罗辑监督你鞋习 ! 面壁者罗辑监督你鞋习 ! map 的元素类型是…… • set::value_type 是 V 。 • map::value_type k v unordered_set unordered_map 未使用 k 未使用 k 未使用 未使用 未使用 未使用 未使用 未使用 k v k v 第五章：专业的接口 物理格式 逻辑格式 面壁者罗辑监督你鞋习 ! 面壁者罗辑监督你鞋习 ! map 更便捷的接口 • 通过 find 返回的迭代器查找元素的方法，虽然是完备的，但使用起来较为复杂，不够简洁。 通常我们只是想要根据