章：内存带宽 cpu-bound 与 memory-bound • 通常来说，并行只能加速计算的部分，不能加速内存读写的部分 。 • 因此，对 fill 这种没有任何计算量，纯粹只有访存的循环体，并 行没有加速效果。称为内存瓶颈（ memory-bound ）。 • 而 sine 这种内部需要泰勒展开来计算，每次迭代计算量很大的 循环体，并行才有较好的加速效果。称为计算瓶颈（ cpu- bound 常见操作所花费的时间 • 图中加法 (add) 和乘法 (mul) 都指的整数。 • 区别是浮点的乘法和加法基本是一样速度。 • L1/2/3 read 和 Main RAM read 的时间指的是 读一个缓存行（ 64 字节）所花费的时间。 • 根据计算： 125/64*4≈8 • 即从主内存读取一次 float 花费 8 个 cycle ， 符合小彭老师的经验公式。 • “right” 和“ wrong” CPU 的厂商早就意识到了内存延迟高，读写效率低 下的问题。因此他们在 CPU 内部引入了一片极小的存储 器——虽然小，但是读写速度却特别快。这片小而快的 存储器称为缓存（ cache ）。 • 当 CPU 访问某个地址时，会先查找缓存中是否有对应的 数据。如果没有，则从内存中读取，并存储到缓存中； 如果有，则直接使用缓存中的数据。 • 这样一来，访问的数据量比较小时，就可以自动预先加

计算机如何表达字符 • 众所周知，计算机只能处理二进制 整数，字符要怎么办呢？ • 于是就有了 ASCII 码表，他规定， 每个英文字符（包括大小写字母、 数字、特殊符号）都对应着一个整 数。在计算机里只要存储这个的整 数，就能代表这个字符了。 • 例如 32 代表空格， 48 代表 ‘ 0’ ， 65 代表 ‘ A’ ， 97 代表 ‘ a’…… • 32~126 这些整数就用于是表示这些 可显示字符 针，如果让首地址指针向前移动 n 位，那就实现删除前 n 个字符的效果，而不用实际修改数组本身（更高效）。 C 语言转义符 • 常见的转义符： • ‘\n’ 换行符：另起一行（光标移到下一行行首） • ‘\r’ 回车符：光标移到行首（覆盖原来的字符） • ‘\t’ 缩进符：光标横坐标对齐到 8 的整数倍 • ‘\b’ 退格符：光标左移，删除上个字符 • ‘\\’ 反斜杠：表示这个是真的 \ ，不是转义符 不等价。 • ‘0’ 相当于他的 ASCII 码 48 。 • 而 ‘ \0’ 就是整数 0 。 C 语言转义符 • 常见的转义符： • ‘\n’ 换行符：另起一行（光标移到下一行行首） • ‘\r’ 回车符：光标移到行首（覆盖原来的字符） • ‘\t’ 缩进符：光标横坐标对齐到 8 的整数倍 • ‘\b’ 退格符：光标左移，删除上个字符 • ‘\\’ 反斜杠：表示这个是真的 \ ，不是转义符

技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 数据存储方式简单，使用 B+ Tree B+ Tree 进行索引 进行索引 • 使用三个文件定义一个表： 使用三个文件定义一个表： .MYI .MYD .frm .MYI .MYD 的方式来进行数据存储 的方式来进行数据存储 (ibdata1, ib_logfile0) (ibdata1, ib_logfile0) • 支持 事务、外键约束等数据库特性 支持 事务、外键约束等数据库特性 • Rows level lock , Rows level lock , 读写性能都非常优秀 读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问 • 数据分布 网络 网络 操作系统 操作系统 硬件 硬件  使用好的硬件，更快的硬盘、大内存、多核 使用好的硬件，更快的硬盘、大内存、多核 CPU CPU ，专业的 ，专业的 存储服务器（ 存储服务器（ NAS NAS 、 、 SAN SAN ） ）  设计合理架构，如果 设计合理架构，如果 MySQL MySQL 访问频繁，考虑 访问频繁，考虑 Master/Slave

章：稀疏矩阵 稠密数组存储矩阵 用 foreach 包装一下枚举的过程 改用 map 来存储 分离 read/write/create 三种访问模式 foreach 直接给出当前坐标指向的值 改用 unordered_map 来存储 unordered_map 手动 read(i, j) 也一样速度 索性把坐标和值打包成 tuple ，存储在 vector 按行压缩（ Compressed de91.html 按行压缩（ Compressed Row Storage ） http://www.netlib.org/linalg/html_templates/node91.html 第 1 章：稀疏网格 稠密网格计算粒子经过的格点数量 改用更小的 char 存储 只用一个 bit 存储，一个 char 可以存储 8 个 bit 用 map 来存储 读取：如果不存在，则读到 用 unordered_map 来存储 map 基于红黑树，会按照键值排序，需要键值具有 operator< 重载，复杂度 O(logn) C++11 新增的 unordered_map 基于哈希表，不保证顺序但更高效，需要键值能被哈希，复杂度 O(1) 用 unordered_map 按 16x16 分块存储 分块能减少 unordered_map 中存储的表项数量，从而减轻哈 希的压力。

TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 什么是 xmm 系列寄存器？ • xmm 寄存器有 128 位宽。 • 可以容纳 4 个 float ，或 2 个 double 。 • 刚才的案例中只用到了 xmm 的低 32 位 用于存储 1 个 float 。 addss 是什么意思？ • 可以拆分成三个部分： add ， s ， s 1. add 表示执行加法操作。 2. 第一个 s 表示标量 (scalar) ，只对 xmm 的容器：我是说，内存分配在堆上的容器 • 存储在堆上（妨碍优化）： • vector, map, set, string, function, any • unique_ptr, shared_ptr, weak_ptr • 存储在栈上（利于优化）： • array, bitset, glm::vec, string_view • pair, tuple, optional, variant 存储在栈上无法动态扩充大小，这就是

build 目录 • 切换到 build 目录 • 在 build 目录运行 cmake < 源码目录 > 生成 Makefile • 执行本地的构建系统 make 真正开始构建（ 4 进程并 行） • 让本地的构建系统执行安装步骤 • 回到源码目录 现代 CMake 提供了更方便的 -B 和 --build 指令，不同平台，统一命 令！ • cmake -B build • cmake 1 章：添加源文件 一个 .cpp 源文件用于测试 CMake 中添加一个可执行文件作为构建目标 另一种方式：先创建目标，稍后再添加源文件 如果有多个源文件呢？ 逐个添加即可 使用变量来存储 建议把头文件也加上，这样在 VS 里可以出现在“ Header Files” 一栏 使用 GLOB 自动查找当前目录下指定扩展名的文件，实现批量添加源文件 启用 CONFIGURE_DEPENDS 是一个空字符串。 因此这里通过 if (NOT CMAKE_BUILD_TYPE) 判断是否为空，如果空 则自动设为 Release 模式。 大多数 CMakeLists.txt 的开头都会有这样三行，为的是让默认的构建类 型为发布模式（高度优化）而不是默认的调试模式（不会优化）。 我们稍后会详细捋一遍类似于 CMAKE_BUILD_TYPE 这样的东西。绝 大多数 CMakeLists.txt

TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 ，需要做大量数学运算，因此瓶颈在 ALU 。 • 这里卖个关子，欲知后事如何，请待下集揭晓！ 更专业的性能测试框架： Google benchmark • 手动计算时间差有点太硬核了，而且只运 行一次的结果可能不准确，最好是多次运 行取平均值才行。 • 因此可以利用谷歌提供的这个框架。 • 只需将你要测试的代码放在他的 • for (auto _: bm) • 里面即可。他会自动决定要重复多少次， 保证结果是准确的，同时不浪费太多时间 因此，最好不是按照图像大小均匀等分，而是按照工 作量大小均匀等分。然而工作量大小我们没办法提前 知道……怎么办？ • 最简单的办法：只需要让线程数量超过 CPU 核心数量 ，这时操作系统会自动启用时间片轮换调度，轮流执 行每个线程。 • 比如这里分配了 16 个线程，但是只有 4 个处理器核心。 那么就会先执行 1,2,3,4 号线程，一段时间后自动切换 到 5,6,7,8 线程。当一个线程退出时候，系统就不会再

刚刚的线程升级为板块，刚刚的 for 升级为线程，然后把 刚刚 local_sum 这个线程局部数组升级为板块局部数组。 那么如何才能实现板块局部数组呢？ • 同一个板块中的每个线程，都共享着一块存储空间，他就 是共享内存。在 CUDA 的语法中，共享内存可以通过定 义一个修饰了 __shared__ 的变量来创建。因此我们可以 把刚刚的 local_sum 声明为 __shared__ 就可以让他从 章：共享内存进阶 GPU 的内存模型 GPU 的内存模型 全局内存：在 main() 中通过 cudaMalloc 分配的内存 共享内存：每个板块都有一个，通过 __shared__ 声明 寄存器：存储着每个线程的局部变量 板块中线程数量过多：寄存器打翻（ register spill ） • GPU 线程的寄存器，实际上也是一块比较小而块的内存，称之为寄存器仓库（ register file 然后，他们把地址空间分为 32 分，第 i 根内存条，负责 addr % 32 == i 的那几个 int 的存储。这 样交错存储，可以保证随机访问时，访存能够尽量分摊到 32 个区块，这样速度就提升了 32 倍。 • 比如： __shared__ int arr[1024]; • 那么 arr[0] 是存储在 bank 0 ， arr[1] 是 bank 1……arr[32] 又是 bank 0 ， arr[33]

如果你没看出来（哪怕是其中一个），那就要好好上小彭老师的课哦！ 字节（ byte ） 和位（ bit ）有什么区别 • 众所周知，计算机是二进制的，存储的实际上是一个个 0 和 1 。 • 每个存储 0 或 1 的空间称为一个位（ bit ），一位可以存储 0 或 1 两个可能的值。 • 现在的计算机都会把 8 个位打包成一个字节（ byte ），也就是说： 1 字节 = 8 位。 • 一字节可以表示 = 1024 KB • 1 GB = 1024 MB • 1 TB = 1024 GB • 也有人说 1 KiB 才是 1024 B 的，但是很少有人采用这种写法…… • 在买硬盘和 u 盘等存储设备的时候，往往会出现容量减少的情况，这是因为生产厂家按照 的是 1000 倍的换算的，而我们的系统中一般都是按照 1024 倍去计算的。 字还被用于表示内存地址 • 字的长度除了决定一次处理 大小（也就是字的大 小）决定了他能读写的内存大小，例如： • 由于 16 位计算机的寄存器只能存储 16 位，他只能访问 65536 字节（ 64 KB ）的内存 。 • 由于 32 位计算机的寄存器只能存储 32 位，他只能访问 4 GB 的内存。 • 由于 64 位计算机的寄存器能存储 64 位，他理论上能访问 16777216 TB 的内存！ • 因此，如果你的电脑内存超过了 4

C++ 标准库五大件：分配器（ allocator ） 侯捷 STL 侯捷 STL vector 容器 vector 容器：构造函数 • vector 的功能是长度可变的数组，他里面的数据 存储在堆上。 • vector 是一个模板类，第一个模板参数是数组里 元素的类型。 • 例如，声明一个元素是 int 类型的动态数组 a ： • vector a; vector 容器：构造函数和 const noexcept; vector 容器： data() 获取首地址指针 • data() 会返回指向数组中首个元素的指针， 也就是等价于 &a[0] 。由于 vector 是连续 存储的数组，因此只要得到了首地址，下一 个元素的地址只需指针 +1 即可。 • 因为指针的 p[i] 相当于 *(p + i) ，因此可以 把 data() 返回的首地址指针当一个数组来 访问。 函数查询实际的最大容量 • 可以用 capacity() 函数查询已经分配内存的大小，即最大容 量。 • 而 size() 返回的其实是已经存储了数据的数组长度。 • 可以发现当 resize 指定的新长度一个超过原来的最大容量时 时，就会重新分配一段更大容量的内存来存储数组，只有这时 才会移动元素的位置（ data 指针失效）。 • size_t capacity() const noexcept;