Rust并行编译的挑战与突破 李原 2022年5月28日 • 相关浅谈 • Rust并行编译的挑战与突破 • 从并行编译到并行程序设计 • Rust社区与并行编译 目录 相关浅谈 Rust编译速度之殇 编译器设计造成编译速度缓慢 · 单态化 · 借用检查 · 宏展开 · MIR优化 ... Rust规模编译速度慢于C++ Rust编译速度之殇 提升编译效率成为近年社区重点工作 提升编译效率成为近年社区重点工作 并行编译或成下一代编译效率突破利器 2017-2021，Rust编译速度已提升一倍以上 Rust社区编译器性能工作组 Rust编译器并行化 Cargo多crate并行 二进制生成并行 更多更好的并行化？ Rust编译器架构 语法树生成 宏展开 命名解析 泛型解析 类型检查 借用检查 单态化 二进制生成 增量编译系统 底层数据 结构 Rust语言编译器结构总览 考虑内部编译流程并行化 考虑内部编译流程并行化 Rust并行并发 编译时线程安全检查 一些常见线程安全数据结构 常用Rust并行并发库 Rust并行并发 增加程序复杂度 线程安全数据结构造成效率损失 Mutex与RwLock rustc profileing 数据 · 代码复杂度及健壮性 · benchmark资源限制 · profileing成本 ... 收益 > 代价？ Rust并行编译的挑战与突破

第三届中国Rust开发者大会 KCL: Rust 在编译器领域的实践与探索 张正 蚂蚁集团 Agenda 01 KusionStack 与 KCL 02 用 Rust 重写 KCL 03 Rust 重写后的收益 04 更多的探索 01 KusionStack 与 KCL KusionStack是什么？ KusionStack架构 KCL KusionStack 是什么？ Language Server KCL Compiler KCL Package Manager 02 用 Rust 重写 KCL Python 代码翻译 栈式虚拟机 Rust 编译器 KCL 编译器架构升级 Source Code AST LLVM IR Native/WASM Source Code AST Bit code VM Source Code Python IDE：用户体验提升 源于 Rust 强大的编译检查和错误 处理方式， 更少的 Bug 稳定性提升 端到端编译执行性能提升了 66% 66 % 20 & 40 前端解析器性能提升 20倍 中端语义分析器性能提升40倍 稳定性和性能的巨大提升 50 % 语言编译器编译过程平均内存使用 量变为原来 Python 版本的一半 01 02 03 04 Case1: 单文件编译 > https://github

享你的见解，帮助他人进步。 图 0‑7 评论区示例 0.2.5 算法学习路线 从总体上看，我们可以将学习数据结构与算法的过程划分为三个阶段。 1. 阶段一：算法入门。我们需要熟悉各种数据结构的特点和用法，学习不同算法的原理、流程、用途和效 率等方面的内容。 2. 阶段二：刷算法题。建议从热门题目开刷，先积累至少 100 道题目，熟悉主流的算法问题。初次刷题 时，“知识遗忘”可能是一个挑战，但请 刷题计划请见此 GitHub 仓库。 3. 阶段三：搭建知识体系。在学习方面，我们可以阅读算法专栏文章、解题框架和算法教材，以不断丰富 知识体系。在刷题方面，可以尝试采用进阶刷题策略，如按专题分类、一题多解、一解多题等，相关的 刷题心得可以在各个社区找到。 如图 0‑8 所示，本书内容主要涵盖“阶段一”，旨在帮助你更高效地展开阶段二和阶段三的学习。 第 0 章 前言 www.hello‑algo 本书的主要受众是算法初学者。如果你已有一定基础，本书能帮助你系统回顾算法知识，书中源代码也 可作为“刷题工具库”使用。 ‧ 书中内容主要包括复杂度分析、数据结构和算法三部分，涵盖了该领域的大部分主题。 ‧ 对于算法新手，在初学阶段阅读一本入门书至关重要，可以少走许多弯路。 ‧ 书中的动画图解通常用于介绍重点和难点知识。阅读本书时，应给予这些内容更多关注。 ‧ 实践乃学习编程之最佳途径。强烈建议运行源代码并亲自敲代码。 ‧

“Fearless Concurrency” Productivity • Modern development tools • Lots of amazing libraries Rust 编译通过了 bug 比 cpp 少上 百倍 !!! 图模型—— Labeled Property Graph Model Arbitrary (key,value) pairs where key Projection Filter Stage Stage 物理执行计划 01 02 03 将不同的执行阶段推送到对应的存储 引擎，减少网络传输和内存压力 实际执行时，执行器等待流数据，处 理后将数据推送到下一个执行器 切分执行计划，将执行计划划分成不 同的执行阶段 内存缓存结构：加速图数据查询 • 由于图数据的查询通常是 IO 密集型，且访问的数据随机又分散，拥有内存缓存能起到很 Rust Stream 进行数据流式 处理 02 03 协程和严格的内存安全性，编译 时捕获数据竞争和并发问题 异步物理算子实现，异步 IO 数 据获取 01 可静态分发的 Trait 在不带来性 能损失的同时也提高代码组织性 02 03 强大的跨平台能力，在不同架构 下可以准确的控制代码行为 编译期间对生命周期检查确保内 存安全，无 GC 和运行时损耗 01 完善的测试类型支持，包括单元

享你的见解，帮助他人进步。 图 0‑7 评论区示例 0.2.5 算法学习路线 从总体上看，我们可以将学习数据结构与算法的过程划分为三个阶段。 1. 阶段一：算法入门。我们需要熟悉各种数据结构的特点和用法，学习不同算法的原理、流程、用途和效 率等方面的内容。 2. 阶段二：刷算法题。建议从热门题目开刷，先积累至少 100 道题目，熟悉主流的算法问题。初次刷题 时，“知识遗忘”可能是一个挑战，但请 刷题计划请见此 GitHub 仓库。 3. 阶段三：搭建知识体系。在学习方面，我们可以阅读算法专栏文章、解题框架和算法教材，以不断丰富 知识体系。在刷题方面，可以尝试采用进阶刷题策略，如按专题分类、一题多解、一解多题等，相关的 刷题心得可以在各个社区找到。 如图 0‑8 所示，本书内容主要涵盖“阶段一”，旨在帮助你更高效地展开阶段二和阶段三的学习。 第 0 章 前言 hello‑algo 本书的主要受众是算法初学者。如果你已有一定基础，本书能帮助你系统回顾算法知识，书中源代码也 可作为“刷题工具库”使用。 ‧ 书中内容主要包括复杂度分析、数据结构和算法三部分，涵盖了该领域的大部分主题。 ‧ 对于算法新手，在初学阶段阅读一本入门书至关重要，可以少走许多弯路。 ‧ 书中的动画图解通常用于介绍重点和难点知识。阅读本书时，应给予这些内容更多关注。 ‧ 实践乃学习编程之最佳途径。强烈建议运行源代码并亲自敲代码。 ‧

享你的见解，帮助他人进步。 图 0‑7 评论区示例 0.2.5 算法学习路线 从总体上看，我们可以将学习数据结构与算法的过程划分为三个阶段。 1. 阶段一：算法入门。我们需要熟悉各种数据结构的特点和用法，学习不同算法的原理、流程、用途和效 率等方面的内容。 2. 阶段二：刷算法题。建议从热门题目开刷，如“剑指 Offer”和“LeetCode Hot 100”，先积累至少 100 道题目，熟悉 3～5 轮的重复后，就能将其牢记在心。 3. 阶段三：搭建知识体系。在学习方面，我们可以阅读算法专栏文章、解题框架和算法教材，以不断丰富 知识体系。在刷题方面，可以尝试采用进阶刷题策略，如按专题分类、一题多解、一解多题等，相关的 刷题心得可以在各个社区找到。 如图 0‑8 所示，本书内容主要涵盖“阶段一”，旨在帮助你更高效地展开阶段二和阶段三的学习。 第 0 章 前言 hello‑algo 本书的主要受众是算法初学者。如果你已有一定基础，本书能帮助你系统回顾算法知识，书中源代码也 可作为“刷题工具库”使用。 ‧ 书中内容主要包括复杂度分析、数据结构和算法三部分，涵盖了该领域的大部分主题。 ‧ 对于算法新手，在初学阶段阅读一本入门书至关重要，可以少走许多弯路。 ‧ 书中的动画图解通常用于介绍重点和难点知识。阅读本书时，应给予这些内容更多关注。 ‧ 实践乃学习编程之最佳途径。强烈建议运行源代码并亲自敲代码。 ‧

开发⼯程师需要在本机安装各种编程语⾔的运⾏时和相关的框 架以及库，随着业务规模的增⻓，多语⾔多版本的维护和管理 变得越来越复杂。 技术栈杂多 研发流程⻓达⼗⼏个步骤：安装开发软件、配置环境、克隆代 码、开发、本地调试、提交代码、编译构建、⾃动化测试、部 署到测试环境、测试验收、合并代码到主线、部署到⽣产环 境… 研发流程繁⻓ 起因：开发者之痛 为了部署测试，不仅要学习容器化、Kubernetes，还要申请资 源安装配置各项中间件，学习成本⾼，费⼼费⼒ 集群内，让你 可实时构建并预览到效果。 为了加速构建，集群内将直接编译并替换掉当前可执 ⾏的进程，⽽⾮全量构建镜像再发到到镜像仓库，然 后再拉取镜像替代旧的 Pod 等⼀系统慢⻓的流程。 Buildpacks How Buildpacks work 分析 探测 恢复构建包可⽤于优化构建和导出阶段的⽂件。 查找⼀组有序的构建包以在构建阶段使⽤。 恢复 构建 从缓存中恢复图层。 将应⽤程序 同任意数量的观察者，在内部调谐 事件，通过⼀个调节器发送事件。 GitHub CI Runner 太慢？ 基于 Github Actions 构建容器镜像及优化策略 • Dockerfile 多阶段构建，充分利⽤层（Layer）缓存加速能⼒； • 使⽤ Cargo Chef 缓存你的 Rust 项⽬的依赖项； • Github Actions Matrix 矩阵构建 amd64 / arm64

. 156 27.2 其他类型的测试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 27.3 编译器 Lint 和 Clippy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 27.4 练习：卢恩算法 . . Chromium 中的 Rust 深入探究 Chromium 中的 Rust 课程为期半天，旨在介绍 Chromium 浏览器中 Rust 的使用。课程内容 包括在 Chromium 的 gn 编译系统中使用 Rust，引入第三方 crate，以及与 C++ 的互操作性。 您需要能够构建 Chromium。为了提高速度，建议使用调试、组件构建方式，其他构建方式也可以使用。确 保所构建的 Chromium Cargo。 安装 请按照 https://rustup.rs/ 上的说明操作。 这将为你提供 Cargo 构建工具 (cargo) 和 Rust 编译器 (rustc)。你还将获得 rustup，这是一个命令 行实用程序, 你可以用它来安装不同的编译器版本。 安装 Rust 之后，你应当配置你的编辑器或 IDE 以开始使用 Rust。大多数编辑器使用了 rust-analyzer。 它为 VS

封装寄存器、位域表示和数据结构 分享性外设：以GPIO为例 • 从前级环境获取所有权，如从ROM 运行环境的#[entry]获得； • 配置GPIO状态后，只有对应外设类 型允许的操作函数能通过编译，否则 拒绝编译，避免不安全行为； • 开源标准抽象的功能，使用抽象规定 的调用方法。本芯片外设专属的功能 也可通过专有函数使用； • 用户代码简短易懂，容易编写和调 试，降低开发成本。 *BL808组件化驱动操作GPIO按钮和灯 ， 即 可 用 于 运 行 环 境 ROM运行环境 第 02 部分 裸机和引导程序的ROM阶段 高级语言环境 初始化bss段、data段， 加载栈寄存器，构成高级 语言运行的最小环境 生成镜像结构 外设和时钟 提供具备所有权的外设 列表，提供ROM初始化 完成的时钟配置 编译时生成镜像头，通 常包含处理器配置、时 钟和闪存配置等部分 #[entry] 过程宏 • 过程宏是卫生宏，完成语法树间的转 件需要的入口函数。 • 包含ABI转换、检查参数等步骤。 • 使用过程宏时，同时使用对应包中的 start初始化代码。start代码无需由 用户编写，而是包含在宏生成的输出 代码中。 • 编译即可获得包含镜像头的固件包， 这是传统开发方法不具备的功能。 多核异构芯片的镜像融合（以BL808为例） 部 分 固 件 调 试 首 先 编 译 程 序 为 单 核 固 件 ， 再 融 合 三

版本管理工具 .............................................................................. 15 1.4 rust 编译运行 .............................................................................. 16 第二章 Rust 基本语法 57 5.2.2 依赖的详细配置： ................................................................ 58 5.2.3 自定义编译器配置 ................................................................ 58 5.2.4 feature 段落......... 1 rust调用 ffi函数 .................................................................. 68 6.3.2 将 rust 编译成库 .................................................................. 71 6.4 堆，栈，BOX.............