第三届中国 Rust 开发者大会 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com 华为 公共开发部 嵌入式软件能力中心 本科就读加州大学圣地亚哥分校，毕业时长两年半， Rustacean 在 华为 目前正在使用 Rust 开发并行调度框架等模块。 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com Runtime 并发框架 目录 Table of Contents #2 社区并发框架介绍以及与移动端的不适配性 Introduction to third party Runtime crates and their incompatibility with mobile environment Rust 异步机制 Asynchronous Rust 异步并发框架是许多大型应用、系统具备的底层能力。 任务调度颗粒度更小，充分利用线程资源  更可控的线程数  单个任务资源占用：几十 KB -> 几百 Byte  任务切换时间 : 10 微秒 -> 100 纳秒 Rust 语言并没有提供异步并发框架， 只提供异步所需的基本特性：  Future  async / await  Waker asyn c Future Waker poll Syntax sugar wake await

面向开发者的云原生 DevOps 平台 角色： 产品 / 架构 开发 测试 运维 运维 / 开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 研发阶段 现代软件交付挑战：开发 5 分钟，上线 2 小时 服务一：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务二：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务三：设计 | 代码编写 | 构建 | 测试 | 部署 | 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效

RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， • 因为如果用到了自定义解构函数，往往意味着你的类 成员中，包含有不安全的类型。 • 一般无外乎两种情况： 1. 你的类管理着资源。 2. 你的类是数据结构。 管理着资源：删除拷贝函数，然后统一用智能指针管理 • 这个类管理着某种资源，资源往往不能被“复制”。比如 一个 OpenGL 的着色器，或是一个 Qt 的窗口。 • 如果你允许 GLShader 拷贝，就相当于把 glCreateShader ，还不 如用 shared_ptr 来管理，省的每个类实 现一遍原子引用计数器。 管理资源的类， 请删除他的拷贝 是数据结构：如果可以，定义拷贝和移动 • 这个类是你精心设计的数据结构，包括我们刚 刚发明的 Vector ，还有链表，红黑树等。如 果这些数据结构是可以支持拷贝的（比如 Vector 就可以），你可能需要自己一个个定义。 如果不支持，那就删除（ =

cudaDeviceSynchronize() 等价！ 因此前面的 cudaDeviceSynchronize() 实 际上可以删掉了。 统一内存地址技术（ Unified Memory ） • 还有一种在比较新的显卡上支持的特性， 那就是统一内存 (managed) ，只需把 cudaMalloc 换成 cudaMallocManaged 即可，释放时也是通过 cudaFree 主机内存 (host) ： malloc 、 free • 设备内存 (device) ： cudaMalloc 、 cudaFree • 统一内存 (managed) ： cudaMallocManaged 、 cudaFree • 如果我没记错的话，统一内存是从 Pascal 架构开始支持的，也就是 GTX9 开头及以上 。 • 虽然方便，但并非完全没有开销，有条件的话还是尽量用分离的设备内存和主机内存吧。 个连续的 int 数 据排列在内存中，而 arr 则是指向其起始 地址。然后把 arr 指针传入 kernel ，即 可在里面用 arr[i] 访问他的第 i 个元素。 • 然后因为我们用的统一内存 (managed) ， 所以同步以后 CPU 也可以直接读取。 多个线程，并行地给数组赋值 • 刚刚的 for 循环是串行的，我们可以把线 程数量调为 n ，然后用 threadIdx

RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， ，需要做大量数学运算，因此瓶颈在 ALU 。 • 这里卖个关子，欲知后事如何，请待下集揭晓！ 更专业的性能测试框架： Google benchmark • 手动计算时间差有点太硬核了，而且只运 行一次的结果可能不准确，最好是多次运 行取平均值才行。 • 因此可以利用谷歌提供的这个框架。 • 只需将你要测试的代码放在他的 • for (auto _: bm) • 里面即可。他会自动决定要重复多少次， 64 ，尹伟达的 wrap 大小 32 高性能计算既然要高性能，必须针对不同硬 件优化，而优化策略都不一样，何谈统一？ 黄仁勋回应称：单机上 CPU 的并行，多机上的 CPU 并行，单机单卡 GPU ，单机 多卡 GPU ，每一种要采用的策略都完全不同，表示不看好 oneapi 能统一异构计算 …… 现在流行改名运动？ Facebook 改名 Meta ？ TBB 改名 OneTBB ？ 方便割投资人韭菜？

进制的做法，只能表示正数和零。 • 怎么办？可能有的同学会想，不妨这样来设计：让二进制的最高位表示符号位。 • 比如 00000011 表示 3 ， 10000011 表示 -3 ，这样不就区分开来了吗？这叫做原码表示 法。 • 的确可以，这种表示方式牺牲了一位作为符号位，剩下 7 位继续表示值。 • 这样的设计下无符号可以表示 0 到 255 ，而有符号可以表示 -127 到 127 。 有符号整数 vs 无符号整数 • 刚刚说的让 10000000 表示 -1 ， 11111111 表示 -128 的方法就叫做反码表示法。 • 但是这样还有一个问题，那就是硬件电路上，需要完全重新设计，对符号位做一些特殊判 断，才能支持有符号整数的加减法，因此如今的计算机都采用了一种更聪明的表示法： • 他们让 11111111 表示 -1 ， 10000000 表示 -128 ，也就是大名鼎鼎的补码表示法。 标准化的类型： stdint.h • 而实际上，尽管主流操作系统上 int 都是 32 位的， C 语言标准并没有规定 int 就是 32 位 的。 • int 甚至可以是 16 位的！只不过主流操作系统一致认为是 32 位的而已，并不是标准所保 证的。 • 为了解决不同操作系统上对类型定义混乱的问题， C 语言标准引入了 stdint.h 这个头文件 。 • 他里面包含一系列类型别名 (typedef)

具有成员函数，然后就可以快乐地 233_i32 .some_method() 了。而 rust 这种预先规定好一些后缀，就只能是他们标准库的那 个 int32 ，不能自己定义了。 • 所以 cpp 之父曾经说，他设计 cpp11 的时候，是考虑“如何在对语言本身改动最小的情况下 ，尽量只在标准库里做手脚，尽可能只利用现有的语言特性，实现 cpp 的现代化。” • 例如 shared_ptr 可以通过利用语言本 杂度……好吧，其实是 O(len) 复杂度， len 就是这里子字符串的长度 2 。 • 此外，要注意 replace 会就地修改原字符串，返回的是指向原对象的引 用，并不是一份新的拷贝！这是标准库的设计者为了性能考虑。 replace 替换一段子字符串 函数原型： string &replace(size_t pos, size_t len, string const &str); string 这期间涉及了字符串的拷贝，还需要分配额外的内存，有点小浪费 。 • 如果切下来的子字符串长度是 n ，则复杂度为 O(n) 。 string_view 的重要用途：高效地切片 • C++17 的设计者们就想：其实我没必要把整个子字符串都 拷贝出来，我们只需要保证原来的字符串存在于内存中， 让 substr 只是返回切片后的胖指针 [ptr, len] ，不就让新 字符串和原字符串共享一片内存，实现了零拷贝零分配嘛

IObject 里的成员，而不会释放 CatObject 里的成员 string m_catFood 。所以 这里的解构函数也是多态的，他根据类型的不同 调用不同派生类的解构函数。 多态用于设计模式之“模板模式” • 这样之后如果有一个任务是要基于 eatFood 做文章，比如要重复 eatFood 两遍。 • 就可以封装到一个函数 eatTwice 里，这个函数只需接受他们共同的基类 • 这样只需要写一遍 eatTwice ，就可以对猫和狗都适用，实现代码的复用（ dont-repeat-yourself ）， 也让函数的作者不必去关注点从猫和狗的其他具体细节，只需把握住他们统一具有的“吃”这个接口。 小知识： shared_ptr 如何深拷贝？ 浅拷贝： 深拷贝： 思考：能不能把拷贝构造函数也作为虚函数？ • 现在我们的需求有变，不是去对同一个对象调用两次 eatTwice 称为类型擦除 (type-erasure) 的大法 。 类型擦除：还是以猫和狗为例 • 例如右边的猫和狗类，假设这两个类是某个第 三方库里写死的，这个第三方库的作者可能没 上过《面向对象程序设计》，居然没有定义一 个公用的 Animal 基类并设一个 speak 为虚 函数。现在你抱怨也没有用，因为这个库是按 LGPL 协议开源的，你只能链接他，不能修改 他的源码，但你的老板却要求你把

– 选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表，以及查看容器的日志和事件 Serving 服务 提供统一便捷的 Serving

业务对大图分析的诉求（千亿点、万亿边） • 实时风控对图库的性能挑战（ OLTP 毫秒级响应） • 海致图平台产品服务于金融、政府行业有大量业务经验积累（接近客户需求） • 现有开源产品无法满足要求（受限于基础架构设计，优化性能有限） 新一代分布式图数据库需具备的特性 特性 信 雅 达 • 高可用 • 一致性（事 务） • 高性能 • 低资源消耗 • 易用 • 功能丰富 AtlasGraph Processing 架构，大规模集群 分布式存储及并行计 算， Shared Nothing 模式支 持存储计算分离 高性能 基于 Rust 开发的分布式存储引 擎及图计算引擎，精细的内存 管理设计，内置索引系统，支 持毫秒级的并发查询响应速度 易用 AQL(Atlas Graph Query Language) ，类 SQL 的图查询 语言，内置上百种分析函数， 面向分析师友好，拥抱标准， Storage backend （ Property Graph KV store ） Pushdown filter Cypher (a)-[:LIKES]->(b) 计算下推：面向图应用特征设计 分布式存储 Find Vertex Walk Vertex Scan Cartesian Product Projection Filter Stage Stage 物理执行计划