从计算机组成原理看 C 语言指针 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 请问下面这三段代码有什么错误？ • float x = -3.14; • printf(“%f\n”, abs(x)); 如果你没看出来（哪怕是其中一个），那就要好好上小彭老师的课哦！ 字节（ byte ） 和位（ bit ）有什么区别 • 众所周知，计算机是二进制的，存储的实际上是一个个 0 和 1 。 • 每个存储 0 或 1 的空间称为一个位（ bit ），一位可以存储 0 或 1 两个可能的值。 • 现在的计算机都会把 8 个位打包成一个字节（ byte ），也就是说： 1 字节 = 8 位。 • 一字节可以表示 0 到 类型 。 不同位数的计算机，字（ word ）的大小也不一样 • 刚刚说把 2 个字节（ byte ）拼成一个字（ word ），实际上是 16 位计算机的做法。 • 16 位计算机得名就是因为他的字由 16 个位组成，早期的 8086 系列 CPU 就是 16 位 的。 • 在 32 位计算机上会把 4 个字节拼成一个字，字由 32 个位组成。 • 在 64 位计算机上会把 8 个字节拼成一个字，字由

专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 企业级数据解决方案专家 为建行、工行、交行、招行、上交所、深交所、中国人寿等 70+ 银行证券保险 企业、公安部、上海市公安局、武汉市公安局等 100+ 公安机构，国家电网、 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 科学技术奖被认为是计算机科学与技术领域最具影响力的专业奖项之一， 其中科技进步卓越奖是

• 通常来说，并行只能加速计算的部分，不能加速内存读写的部分 。 • 因此，对 fill 这种没有任何计算量，纯粹只有访存的循环体，并 行没有加速效果。称为内存瓶颈（ memory-bound ）。 • 而 sine 这种内部需要泰勒展开来计算，每次迭代计算量很大的 循环体，并行才有较好的加速效果。称为计算瓶颈（ cpu- bound ）。 • 并行能减轻计算瓶颈，但不减轻内存瓶颈，故后者是优化的重点 后者是优化的重点 。 浮点加法的计算量 • 冷知识：并行地给浮点数组每个元素做一次加法反而更慢。 • 因为一次浮点加法的计算量和访存的超高延迟相比实在太少了。 • 计算太简单，数据量又大，并行只带来了多线程调度的额外开销 。 • 小彭老师经验公式： 1 次浮点读写 ≈ 8 次浮点加法 • 如果矢量化成功（ SSE ）： 1 次浮点读写 ≈ 32 次浮点加法 • 如果 CPU 有 4 Main RAM read 的时间指的是 读一个缓存行（ 64 字节）所花费的时间。 • 根据计算： 125/64*4≈8 • 即从主内存读取一次 float 花费 8 个 cycle ， 符合小彭老师的经验公式。 • “right” 和“ wrong” 指的是分支预测是否成功。 多少计算量才算多？ • 看右边的 func ，够复杂了吧？也只是勉勉强强超过一 点内存的延迟了，但在 6

，内存管理与对象生命周期 ASCII 码 第 1 章 计算机如何表达字符 https://zh.wikipedia.org/wiki/ASCII 计算机如何表达字符 • 众所周知，计算机只能处理二进制 整数，字符要怎么办呢？ • 于是就有了 ASCII 码表，他规定， 每个英文字符（包括大小写字母、 数字、特殊符号）都对应着一个整 数。在计算机里只要存储这个的整 数，就能代表这个字符了。 • 代表空格， 48 代表 ‘ 0’ ， 65 代表 ‘ A’ ， 97 代表 ‘ a’…… • 32~126 这些整数就用于是表示这些 可显示字符 (printable character) 的。 计算机如何表达字符 • 除了可显示字符 (printable character) 外， ASCII 还规定了一 类特殊的控制字符 (control character) ： • 0 表示空字符（‘ Enter 键一样，按 Ctrl+H 的效果和退格键 一样。 • 这是因为 ASCII 表中规定 ^I 就是 ‘ \t’ ， ^J 就是 ‘ \ n’ ， ^H 就是 ‘ \b’ ，所以以前原始的计算机键盘上其 实还没有 Enter 键，大家都是按 Ctrl+J 来换行的… … • 不过，如果直接在控制台输入 ‘ ^’ 和 ‘ C’ 两个字符并 没有 Ctrl+C 的效果哦！因为 ‘ ^C’ 是

Compressed Row Storage ） http://www.netlib.org/linalg/html_templates/node91.html 第 1 章：稀疏网格 稠密网格计算粒子经过的格点数量 改用更小的 char 存储 只用一个 bit 存储，一个 char 可以存储 8 个 bit 用 map 来存储 读取：如果不存在，则读到 0 写入：如果不存在，则创建该表项 ，从而避免负方向上出错。然而这还是避免不了 a < -b 时的出错。 • 正确的写法是： (a % b + b) % b • 如果 b 是常数且为 2 的幂次方，编译器会检测到， 并替换为更高效的位运算，反而减少了计算量。 • 此外如果 b 一定是 2 的幂次方，那么 (unsigned)a % b 也可以（先转换成无符号的取模）。 高效的解决：位运算 & • 如果 b 是 2 的幂次方，即： 2, 4 没有重合时可以用高效的加法：位运算 | • 如果可以保证 a 和 b 满足 a & b = 0 ， 如： • 1011000 和 0000110 • 则： a + b = a | b | = 位运算 << ：快速计算 2 的幂次方 • pow(2,n) = 1 << n • pow(2,n+1) = 2 << n • 以后你们 CFDer 不要再让我看见 pow(2,n) 了…… • 或者至少用 powf(2

xmm0 为什么需要 SIMD ？单个指令处理四个数据 • 这种单个指令处理多个数据的技术称为 SIMD （ single-instruction multiple-data ）。 • 他可以大大增加计算密集型程序的吞吐量。 • 因为 SIMD 把 4 个 float 打包到一个 xmm 寄存器里同时运算，很像数学中矢量的逐元 素加法。因此 SIMD 又被称为矢量，而原始的一次只能处理 1 个 float register 和 inline 的所谓“优化技巧”，你直接把小彭 老师这两页 ppt ，贴到他脸上即可。 • 明明实验一下就知道的事，还在照着上世纪谭某强教材念。古有纸上谈兵，今有脑内编程 。 • 计算机编程又不是量子物理广义相对论，我们每个人都有电脑，做一下实验很容易，可总 有所谓的“老师”就不肯动动手敲几行命令（写 doc 文件倒挺勤的），在那里传播假知识。 • 在线做编译器实验推荐这个网站： ：四个 int 的加法 movdqa ：加载四个 int 从 0 到 1024 填充： SIMD 加速（续） 看不懂？小彭老师解析一下。右边是方便大家理解的伪代码： 一次写入 4 个 int ，一次计算 4 个 int 的加法，从而更加高 效但这样有个缺点，那就是数组的大小必须为 4 的整数倍 否则就会写入越界的地址！ 如果不是 4 的倍数？边界特判法 看不懂？很简单，假设 n = 1023 ：

数据量 的大小 n ，比如 O(n²) 表示花费时间和数据量的平方成正比。 • 对于并行算法，复杂度的评估则要分为两种： • 时间复杂度：程序所用的总时间（重点） • 工作复杂度：程序所用的计算量（次要） • 这两个指标都是越低越好。时间复杂度决定了快慢，工作复杂度决定了耗电量。 • 通常来说，工作复杂度 = 时间复杂度 * 核心数量 • 1 个核心工作一小时， 4 个核心工作一小时 剧透：因为本例中 reduce 是内存密集型， for 是计算密集型。 • 超线程对 reduce 这种只用了简单的加法，瓶颈在内存的算法起了作用。 • 而本例中 for 部分用了 std::sin ，需要做大量数学运算，因此瓶颈在 ALU 。 • 这里卖个关子，欲知后事如何，请待下集揭晓！ 更专业的性能测试框架： Google benchmark • 手动计算时间差有点太硬核了，而且只运 行一次的结果可能不准确，最好是多次运 章：任务分配 https://link.springer.com/chapter/10.1007%2F978-1-4842-4398-5_12 并行：如何均匀分配任务到每个线程？ • 对于并行计算，通常都是 CPU 有几个核心就开 几个线程，因为我们只要同时执行就行了嘛。 • 比如 cornell box 这个例子里，我们把图片均匀 等分为四块处理。然而发现 4 号线程所在的块， 由

，也就是说核函数 可以调用另一个核函数，且其三重尖括号 里的板块数和线程数可以动态指定，无需 先传回到 CPU 再进行调用，这是 CUDA 特有的能力。 常用于这种情况：需要从 GPU 端动态计算出 blockDim 和 gridDim ，而又不希望导回数据到 CPU 导致强制同步影响性能。 这种模式被称为动态并行（ dynamic parallelism ）， OpenGL 有一 个 g 如何捕获外部变量？ • 或者在 [] 里这样直接写自定义捕获的表达 式也是可以的，这样就可以用同一变量名 。 第 5 章：数学运算 经典案例，并行地求 sin 值 • 就让我们在 GPU 上并行地计算从 sin(0) 到 sin(65535) 的值，并填入到数组 arr 中。 • 这里为什么用 sinf 而不是 sin ？ • 因为 sin 是 double 类型的正弦函数，而我 们需要的 32) 了，而另一个线程还没执行完 if (j < 64) ，从而出错。可是为什么 GPU 要这样设计？ • 因为其中某个线程有可能因为在等待内存数据的抵达，这时大可 以切换到另一个线程继续执行计算任务，等这个线程陷入内存等 待时，原来那个线程说不定就好了呢？（记得上节课说过内存延 迟是阻碍 CPU 性能提升的一大瓶颈， GPU 也是如此。 CPU 解决方案是超线程技术，一个物理核提供两个逻辑核，当一个逻

GitHub 4.5k Stars • “Materialized View” • 计算：分布式流计算任务，实时增量维护 • 存储： S3 上的 Shared-storage 存储状态和数据 Await Tree 在 RisingWave 中的应用 • 技术挑战 • 计算任务需长期执行，稳定性要求高 • 算子逻辑复杂，计算与存储读写穿插，强依赖 Async • Await-Tree 的应用 • 数次帮助解决棘手的

unique_ptr 来管理对象，这样尽管 CudaSurface 对象是不可 移动的，我们仍可以通过移 动其指针的方式来实现双缓 冲（ std::swap ）。 对流部分 对流部分：计算对流后位置（ RK3 ） • 这里我参考了 Taichi 官方案例中的 stable_fluid.py 代码（二维定常流仿真），主要由 k-ye 编写 ，我学习 GAMES201 后贡献了支持 RK2 • 当然， jacobi 迭代因为需要写入 pre 的同时读取 pre ，所以也要用双缓冲。 投影部分：计算未消除的散度 为了评估效果的好坏，额外加一个计算散度方差的核函数，看看是不是无散度（不可压缩流）了。 多重网格法 投影部分：多重网格实现 投影部分：红黑高斯 投影部分：计算残差 投影部分：缩小一倍 投影部分：清零数组 投影部分：扩大一倍 创建与导出 主函数：创建场景 导出