C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 为什么需要构建系统（ Makefile ） • 文件越来越多时，一个个调用 g++ 编译链接会变得很麻烦。 • 于是，发明了 make 这个程序，你只需写出不同文件之间的依赖关系，和生成各文件的规则。 • > make a.out • 敲下这个命令，就可以构建出 a.out 这个可执行文件了。 • 和直接用一个脚本写出完整的构建过程相比， make 指明依赖关系的好处： 1. 当更新了 hello.o ，而不需要把 main.o 也重新编译一遍。 2. 能够自动并行地发起对 hello.cpp 和 main.cpp 的编译，加快编译速度（ make -j ）。 3. 用通配符批量生成构建规则，避免针对每个 .cpp 和 .o 重复写 g++ 命令（ %.o: %.cpp ）。 • 但坏处也很明显： 1. make 在 Unix 类系统上是通用的，但在 Windows 则不然。 2

C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 构造函数！ 编写我们自己的 vector 类！ 看来 vector 也不过如此！让我们自己实现一个 Vector 类试试看 吧 It works! 这个 Vector 类有哪些问题？ 三五法则：规则类怪谈 1. 如果一个类定义了解构函数，那么您必须同时定义 或删除拷贝构造函数和拷贝赋值函数，否则出错。 2. 如果一个类定义了拷贝构造函数，那么您必须同时 定义或删除拷贝赋值函数，否则出错，删除可导致 • 常见的有 std::vector const &arr 等。 • 注：有的教材喜欢这样： const Pig &pig ，仅仅是个人喜好不同，没有实际区 别。 函数参数类型优化规则：按引用还是按值？ • 如果是基础类型（比如 int ， float ）则按值传递： • float squareRoot(float val); • 如果是原始指针（比如 int * ， Object

Concurrency in Action ）不一定就是完美解决方案，要根据实际情况判断。 真正的解决： tbb::spin_mutex 其实主要的瓶颈在于 std::mutex 会切换到操作系统内核中去调度 ，非常低效。而 tbb::spin_mutex 则是基于硬件原子指令的，完全 用户态的实现。区别： std::mutex 的陷入等待会让操作系统挂起 该线程，以切换到另一个；而 tbb::spin_mutex 的代码。 • 要求：自动扩展边界，按需分配内存，垃圾回收及时释放全零的块，用量化的 bit 压缩空 间，使用 omp 或 tbb 并行，用 accessor 缓存坐标以减轻锁的压力。 • 评分规则：加速了多少倍就是多少分。 感谢观看！ by 彭于斌（ github@archibate ） 录播： https://space.bilibili.com/ 263032155 课件： https://github

chenmingyu4@huawei.com 华为 公共开发部 嵌入式软件能力中心 本科就读加州大学圣地亚哥分校，毕业时长两年半， Rustacean 在 华为 目前正在使用 Rust 开发并行调度框架等模块。 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com 华为 公共开发部 嵌入式软件能力中心 Applications of Rust Runtime mobile environment Rust 异步机制 Asynchronous Rust 异步并发框架是许多大型应用、系统具备的底层能力。 区别于多线程编程模型，它带来以下优势：  任务调度颗粒度更小，充分利用线程资源  更可控的线程数  单个任务资源占用：几十 KB -> 几百 Byte  任务切换时间 : 10 微秒 -> 100 纳秒 Rust 语言并没有提供异步并发框架， Third Party Runtime 目前 Rust 社区最广泛使用的事件 驱动型调度框架，擅长处理大量异 步 IO 的场景。具有非常强大的生 态。 tokio 第一个适配 Rust async/await 原语 的运行时库，与 tokio 类似支持异步 IO ，目前已经半废弃 async-std 更轻量化的调度框架，功能被拆分 到其他多个库中， IO 密集场景性 能不如 Tokio smol

C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 互。并在主线程中等待该任务组里的任务 全部执行完毕。 • 区别在于，一个任务不一定对应一个线程 ，如果任务数量超过 CPU 最大的线程数， 会由 TBB 在用户层负责调度任务运行在 多个预先分配好的线程，而不是由操作系 统负责调度线程运行在多个物理核心。 封装好了： parallel_invoke 更好的例子 第 1 章：并行循环 时间复杂度（ time-efficiency ）与工作量复杂度（ 秒 0 分 30 秒 解决 1 ：线程数量超过 CPU 核心数量，让系统调度保证各个核心始终饱和 • 因此，最好不是按照图像大小均匀等分，而是按照工 作量大小均匀等分。然而工作量大小我们没办法提前 知道……怎么办？ • 最简单的办法：只需要让线程数量超过 CPU 核心数量 ，这时操作系统会自动启用时间片轮换调度，轮流执 行每个线程。 • 比如这里分配了 16 个线程，但是只有 4 个处理器核心。

据。还有点特殊的性质，我们稍后会 讲。 • 通常板块数量总是大于 SM 的数量，这时英伟达驱动就会在多个 SM 之间调度你提交的 各个板块。正如操作系统在多个 CPU 核心之间调度线程那样…… • 不过有一点不同， GPU 不会像 CPU 那样做时间片轮换——板块一旦被调度到了一个 SM 上，就会一直执行，直到他执行完退出，这样的好处是不存在保存和切换上下文（寄 存器，共享内存等）的开销，毕竟 存器，共享内存等）的开销，毕竟 GPU 的数据量比较大，禁不起这样切换来切换去…… • 一个 SM 可同时运行多个板块，这时多个板块共用同一块共享内存（每块分到的就少了） 。 • 而板块内部的每个线程，则是被进一步调度到 SM 上的每个 SP 。 无原子的解决方案： sum 变成数组 • 刚刚的数组求和例子，其实可以不需要原子操作。 • 首先，声明 sum 为比原数组小 1024 倍的数组。 • 然后在 GPU 这样就能保证之前其他线程的 local_sum 都已经写入成功了。 线程组（ warp ）： 32 个线程为一组 • 其实， SM 对线程的调度是按照 32 个线程为一组 来调度的。也就是说， 0-31 号线程为一组， 32-63 号线程为一组，以此类推。 • 因此 SM 的调度无论如何都是对一整个线程组 （ warp ）进行的，不可能出现一个组里只有单独 一个线程被调走，要么 32 个线程一起调走。

C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 样一个 过程。简单来说，进程是程序（应用程序，可执行文件）的一次执行。比如双击打开一个 桌面应用软件就是开启了一个进程。 • 线程是进程中的一个实体，是被系统独立分配和调度的基本单位。也有说，线程是 CPU 可 执行调度的最小单位。也就是说，进程本身并不能获取 CPU 时间，只有它的线程才可以。 • 从属关系：进程 > 线程。一个进程可以拥有多个线程。 • 每个线程共享同样的内存空间，开销比较小。 个人写入，没有人读取。 3. 没有人读取，也没有人写入。 读写锁： shared_mutex • 为此，标准库提供了 std::shared_mutex 。 • 上锁时，要指定你的需求是拉还是喝，负 责调度的读写锁会帮你判断要不要等待。 • 这里 push_back() 需要修改数据，因需求 此为拉，使用 lock() 和 unlock() 的组合 。 • 而 size() 则只要读取数据，不修改数据，

异步编程的共同优势 • async/await 关键字 • 用户态调度 • Async Rust 的独特优势 • Ownership 与 Lifetime • 无栈协程 Async Rust 回顾 Rust 的无栈协程抽象 — Future Async Rust 回顾 • 通过 poll 驱动的状态机 • 组合嵌套为调度单元： Task • async fn 语法糖 Async Rust • Backtrace 不够直观 ( 调用栈 -> 调用树 ) • Tracing 无法追踪调用关系的变化 Async Rust 观测与调试的痛点 Async Rust 回顾 • 特性：用户态调度的无栈协程 • Pending Task 不存在栈空间 • 痛点：观测与调试工具无法还原 Pending Task 的执行状态 • 难以得知 Task 阻塞的位置和原因 • 难以调试 Async

to modified request • 模拟数据规则 • 自动化测试 • https://github.com/wasmmock/ wasm_mock_server • 用 rust 打包所有测试需求 Wasm mock server Why use rust ？ Software testing tool • 模拟数据规则 • 自动化测试 • Company's own protocol backend product line with complex upstream • Common testing platform 大公司抓包工具的需求 软件测试工具 • 模拟数据规则 • 自动化测试 • Supports http/https/tcp/websocket(MITM) • Can use rust to construct own protocol • websocket stand in for wasm API 抓包 - Wasm Mock Server wasm 工具 does not invent the wheel 软件测试工具 • 模拟数据规则 • 自动化测试 ModifyRequest(req *http.Request) error{ … req_,err:=wasm.Invoke(ctx,req.url.path, req_payload)

-D 选项：指定配置变量（又称缓存变量） • 可见 CMake 项目的构建分为两步： • 第一步是 cmake -B build ，称为配置阶段（ configure ），这时只检测环境并生成构建规则 • 会在 build 目录下生成本地构建系统能识别的项目文件（ Makefile 或是 .sln ） • 第二步是 cmake --build build ，称为构建阶段（ build ），这时才实际调用编译器来编译代码 Linux 的 make ， Windows 的 MSBuild ），从而让构建规则可以只写一份，跨平 台使用。 • 过去的软件（例如 TBB ）要跨平台，只好 Makefile 的构建规则写一份， MSBuild 也写一份 。 • 现在只需要写一次 CMakeLists.txt ，他会视不同的操作系统，生成不同构建系统的规则文件。 • 那个和操作系统绑定的构建系统（ make 、 MSBuild MSBuild ）称为本地构建系统（ native buildsystem ）。 • 负责从 CMakeLists.txt 生成本地构建系统构建规则文件的，称为生成器（ generator ）。 -G 选项：指定要用的生成器 • Linux 系统上的 CMake 默认用是 Unix Makefiles 生成器； Windows 系统默认是 Visual Studio 2019 生成器； MacOS