attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。 本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。 动画在 PDF 内的展示效果受限，可访问 18 2.2 迭代与递归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.3 时间复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.4 空间复杂度 . . 参与创作。 前置条件 你需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 本书的主要内容如图 0‑1 所示。 ‧ 复杂度分析：数据结构和算法的评价维度与方法。时间复杂度和空间复杂度的推算方法、常见类型、示 例等。 ‧ 数据结构：基本数据类型和数据结构的分类方法。数组、链表、栈、队列、哈希表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。

attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请 各位老师和同学批评指正。 本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的 展示效果受限，可访问 18 2.2 迭代与递归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.3 时间复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.4 空间复杂度 . . 作。 � 前置条件 你需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 本书的主要内容如图 0‑1 所示。 ‧ 复杂度分析：数据结构和算法的评价维度与方法。时间复杂度和空间复杂度的推算方法、常见类型、示 例等。 ‧ 数据结构：基本数据类型和数据结构的分类方法。数组、链表、栈、队列、哈希表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。

attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。 本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。 动画在 PDF 内的展示效果受限，可访问 18 2.2 迭代与递归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.3 时间复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.4 空间复杂度 . . 参与创作。 前置条件 你需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 本书的主要内容如图 0‑1 所示。 ‧ 复杂度分析：数据结构和算法的评价维度与方法。时间复杂度和空间复杂度的推算方法、常见类型、示 例等。 ‧ 数据结构：基本数据类型和数据结构的分类方法。数组、链表、栈、队列、哈希表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。

com/krahets/hello‑algo 仓库。动画在 PDF 内的 展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 致谢 本书在开源社区众多贡献者的共同努力下不断成长。感谢每一位投入时间与精力的撰稿人，他们 是（按照 GitHub 自动生成的顺序）：krahets, sjinzh, justin‑tse, Reanon, nuomi1, Gonglja, S‑N‑O‑ R‑L‑A‑X 本书的代码审阅工作由 Gonglja, gvenusleo, hpstory, justin‐tse, krahets, nuomi1, Reanon, sjinzh 完 成（按照首字母顺序排列）。感谢他们付出的时间与精力，正是他们确保了各语言代码的规范与统一。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读。” ——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 13 2.1. 算法效率评估 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2. 时间复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.3. 空间复杂度 .

——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 致谢 本书在开源社区众多贡献者的共同努力下不断成长。感谢每一位投入时间与精力的撰稿人，他们是 （按照 GitHub 自动生成的顺序）：krahets, justin‑tse, sjinzh, nuomi1, Reanon, Gonglja, S‑N‑O‑R‑ L‑A‑X 本书的代码审阅工作由 Gonglja, gvenusleo, hpstory, justin‐tse, krahets, nuomi1, Reanon, sjinzh 完 成（按照首字母顺序排列）。感谢他们付出的时间与精力，正是他们确保了各语言代码的规范与统一。 i 目 录 第 0 章 前言 1 0.1 关于本书 . . . . . . . . . . . . . . . . . . . . . . . 17 2.2 迭代与递归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.3 时间复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.4 空间复杂度 . .

4 核且矢量化成功： 1 次浮点读写 ≈ 128 次浮点加 法 常见操作所花费的时间 • 图中加法 (add) 和乘法 (mul) 都指的整数。 • 区别是浮点的乘法和加法基本是一样速度。 • L1/2/3 read 和 Main RAM read 的时间指的是 读一个缓存行（ 64 字节）所花费的时间。 • 根据计算： 125/64*4≈8 • 即从主内存读取一次 float 花费 花费 8 个 cycle ， 符合小彭老师的经验公式。 • “right” 和“ wrong” 指的是分支预测是否成功。 多少计算量才算多？ • 看右边的 func ，够复杂了吧？也只是勉勉强强超过一 点内存的延迟了，但在 6 个物理核心上并行加速后， 还是变成 mem-bound 了。 • 加速比： 1.36 倍 • 应该达到 6 倍（物理核心数量）才算理想加速比。 加速曲线 • 读取。这会导致 CPU 预取机制失效，无法预测下 一次要读哪里，等发现跳跃时已经来不及了，从而 计算的延迟无法隐藏。 如果每个属性都要访问到，那还是 AOS 比较好（ AOSOA 也不赖哦） 这是因为使用 SOA 会让 CPU 不得不同时维护很多条预取赛道（ mc_x, mc_y, mc_z ），当赛 道多了以后每一条赛道的长度就变短了，从而能够周转的余地时间比较少，不利于延迟隐藏。 而如果把这三条赛道合并成一条（

memory CUDA 多维数组：封装 • cudaMalloc3DArray 用于分配一个三维数组。 各维度上的大小通过 cudaExtent 指定，方 便起见我们的 C++ 封装类用了 uint3 表示 大小。 • GPU 的多维数组有特殊的数据排布来保障 访存的高效，和我们 CPU 那样简单地行主 序或列主序（如 a[x + nx * y] ）的多维数组 不一样。 • 随后可用 cudaMemcpy3D 在 GPU 的三 维数组和 CPU 的三维数组之间拷贝数据。 CUDA 表面对象：封装 • 要访问一个多维数组，必须先创建一个表面对象 （ cudaSurfaceObject_t ）。 • 考虑到多维数组始终是需要通过表面对象来访问的，这 里我们让表面对象继承自多维数组。 • 在核函数中可以用 surf3Dread 和 surf3Dwrite 来读写 表面对象中的元素， x,y clrNext 的同时读取 clr 没有冲突，写入完毕后对调 clrNext 和 clr 。 投影部分 投影部分 • 我们要模拟的流体是不可压缩的，因此有着无散度的特点： div v = 0 • 上式对时间求导，即 d(div v)/dt = div dv/dt = 0 ；带入 dv/dt = -p 得 div grad p = 0 。 • 因此为了模拟不可压缩流我们要求保证 p 满足 div grad

算的是否准确无误，从右边的输出 可以看到基本是一致的。 测试一下时间 • 使用第六节课中的 ticktock.h 测试一下 CPU 和 GPU 的用时。 • 注意，这里一定要把 TOCK 放到同步之 后。原因之前说过，因为对 GPU 核函数 的调用是异步的，只有 cudaDeviceSynchronize() 以后才真正完 成执行，才能算出真的时间。 • 查看结果，发现 GPU 比 CPU 快了很多 通常板块数量总是大于 SM 的数量，这时英伟达驱动就会在多个 SM 之间调度你提交的 各个板块。正如操作系统在多个 CPU 核心之间调度线程那样…… • 不过有一点不同， GPU 不会像 CPU 那样做时间片轮换——板块一旦被调度到了一个 SM 上，就会一直执行，直到他执行完退出，这样的好处是不存在保存和切换上下文（寄 存器，共享内存等）的开销，毕竟 GPU 的数据量比较大，禁不起这样切换来切换去…… 在真分支会避免修改寄存器和访存，产生副作 用。而为了避免会产生额外的开销。因此建议 GPU 上的 if 尽可能 32 个线程都处于同一个 分支，要么全部真要么全部假，否则实际消耗 了两倍时间！ 避免修改寄存器和访存相当于 CPU 的 SIMD 指令 _mm_blendv_ps 和 _mm_store_mask_ps ，不过 GPU 这种 SIMT 的设计能够自动处理分支和循环的分歧，这是

看本期性能优化专题课吧！ 分支预测成败对性能的影响 排序为什么对有分支的版本影响那么大 为什么需要流水线 • 为了高效， CPU 的内部其实是一个流水 线 (pipeline) 。流水线的目的是能把原本 串行的一系列指令并行化。为了理解为什 么需要流水线，我们先反过来，假设没有 流水线，会有什么坏处。 • 例如，右边你今天早上的任务清单。 • 请问你这些任务总共需要多少时间？ 任务 时间 占用资源 干瞪眼，什么也不做，其实完全可以在烧 开水的同时洗脸刷牙呀！原始的 CPU 也 是这样， ALU 在运算的时候指令解码单元 就在旁边干瞪眼，要等 ALU 跑完写回寄 存器来指令解码单元才开始继续工作，很 低效。 任务 时间 占用资源 洗脸 5 分钟 眼睛，嘴巴，手 烧开水 10 分钟 煤气灶 刷牙 5 分钟 嘴巴，手 看比站 15 分钟 眼睛 吃饭 30 分钟 嘴巴，手 拉粑粑 20 分钟 屁股 洗脸 烧开水 更高效的办法是，观察每个任务都占用哪些 资源，所占用资源不冲突的可以同时进行， 节省时间。 • 例如洗脸需要眼睛嘴巴手，刷牙需要嘴巴手 ，那么洗脸和刷牙不能同时进行。但是烧开 水只需要占用煤气灶，和洗脸刷牙不冲突， 所以可以一边烧开水一边洗脸刷牙。 • 所以让小彭老师来优化的话，可以只需要 5 + 5 + 10 + 20 = 40 分钟，比你快一倍多。 任务 时间 占用资源 洗脸 5 分钟 眼睛，嘴巴，手 烧开水

2. 时间复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.3. 空间复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.4. 权衡时间与空间 创作。 � 前置条件 您需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2. 内容结构 本书主要内容有： ‧ 复杂度分析：数据结构与算法的评价维度、算法效率的评估方法。时间复杂度、空间复杂度，包括推算 方法、常见类型、示例等。 ‧ 数据结构：常用的基本数据类型，数据在内存中的存储方式、数据结构分类方法。数组、链表、栈、队列、 散列表、树、堆、图等数据结构，内容包 Offer、LeetCode Hot 100，先积累至少 100 道题量，熟 悉大多数的算法问题。刚开始刷题时，“遗忘”是最大的困扰点，但这是很正常的，请不要担心。学习中 有一种概念叫“周期性回顾”，同一道题隔段时间做一次，在重复 3 轮以上后，往往就能牢记于心了。 3. 搭建知识体系。在学习方面，可以阅读算法专栏文章、解题框架、算法教材，不断地丰富知识体系。在 刷题方面，可以开始采用进阶刷题方案，例如按专