Rust并行编译的挑战与突破 李原 2022年5月28日 • 相关浅谈 • Rust并行编译的挑战与突破 • 从并行编译到并行程序设计 • Rust社区与并行编译 目录 相关浅谈 Rust编译速度之殇 编译器设计造成编译速度缓慢 · 单态化 · 借用检查 · 宏展开 · MIR优化 ... Rust规模编译速度慢于C++ Rust编译速度之殇 提升编译效率成为近年社区重点工作 提升编译效率成为近年社区重点工作 并行编译或成下一代编译效率突破利器 2017-2021，Rust编译速度已提升一倍以上 Rust社区编译器性能工作组 Rust编译器并行化 Cargo多crate并行 二进制生成并行 更多更好的并行化？ Rust编译器架构 语法树生成 宏展开 命名解析 泛型解析 类型检查 借用检查 单态化 二进制生成 增量编译系统 底层数据 结构 Rust语言编译器结构总览 考虑内部编译流程并行化 考虑内部编译流程并行化 Rust并行并发 编译时线程安全检查 一些常见线程安全数据结构 常用Rust并行并发库 Rust并行并发 增加程序复杂度 线程安全数据结构造成效率损失 Mutex与RwLock rustc profileing 数据 · 代码复杂度及健壮性 · benchmark资源限制 · profileing成本 ... 收益 > 代价？ Rust并行编译的挑战与突破

第三届中国Rust开发者大会 KCL: Rust 在编译器领域的实践与探索 张正 蚂蚁集团 Agenda 01 KusionStack 与 KCL 02 用 Rust 重写 KCL 03 Rust 重写后的收益 04 更多的探索 01 KusionStack 与 KCL KusionStack是什么？ KusionStack架构 KCL KusionStack 是什么？ Language Server KCL Compiler KCL Package Manager 02 用 Rust 重写 KCL Python 代码翻译 栈式虚拟机 Rust 编译器 KCL 编译器架构升级 Source Code AST LLVM IR Native/WASM Source Code AST Bit code VM Source Code Python IDE：用户体验提升 源于 Rust 强大的编译检查和错误 处理方式， 更少的 Bug 稳定性提升 端到端编译执行性能提升了 66% 66 % 20 & 40 前端解析器性能提升 20倍 中端语义分析器性能提升40倍 稳定性和性能的巨大提升 50 % 语言编译器编译过程平均内存使用 量变为原来 Python 版本的一半 01 02 03 04 Case1: 单文件编译 > https://github

......................................................................................... 11 1.1. 安装 .................................................................................................. ....................................................................... 362 14.4. 使用 cargo install 安装二进制文件 ........................................................................... 368 14.5. Cargo 自定义扩展命令 本书假设你使用 Rust 1.67.1（2023-02-09 发布）或更新的版本。请查看 第 1 章的 “安装” 部 分 了解如何安装和升级 Rust。 本书的英文原版 HTML 格式可以在 https://doc.rust-lang.org/stable/book/ 在线阅读；使用 rustup 安装的 Rust 也包含一份英文离线版，运行 rustup docs --book 即可打开。 本书还有一些社区

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.1. 安装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 14.4. 使用 cargo install 安装二进制文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . edition = "2024"将其配置为使用 Rust 2024 edition 惯用法。请查 看第一章的 “安装” 部分了解如何安装和升级 Rust。 本书的英文原版 HTML 格式可以在 https://doc.rust-lang.org/stable/book/ 在线阅读；使用 rustup 安装的 Rust 也包含一份英文离线版，运行 rustup docs --book 即可打开。 本书还有一些社区

. 156 27.2 其他类型的测试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 27.3 编译器 Lint 和 Clippy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 27.4 练习：卢恩算法 . . 并能够坐下来使用笔记本电脑。特别地，讲师需要进行大量的现场编码工作，因此讲台是不需要的。 4. 课程当天，请提早到教室进行准备。建议直接在笔记本电脑上运行 mdbook serve 来演示课程内 容（请参阅安装说明）。这样可以确保在更换页面时不会出现延迟，演示效果更好。使用笔记本运行还 可以在发现错别字时及时更正。 5. 让学员自己或以小组为单位解决练习问题。通常在上午和下午各安排 30-45 分钟的练习时间（包括 Chromium 中的 Rust 深入探究 Chromium 中的 Rust 课程为期半天，旨在介绍 Chromium 浏览器中 Rust 的使用。课程内容 包括在 Chromium 的 gn 编译系统中使用 Rust，引入第三方 crate，以及与 C++ 的互操作性。 您需要能够构建 Chromium。为了提高速度，建议使用调试、组件构建方式，其他构建方式也可以使用。确 保所构建的 Chromium

版本管理工具 .............................................................................. 15 1.4 rust 编译运行 .............................................................................. 16 第二章 Rust 基本语法 57 5.2.2 依赖的详细配置： ................................................................ 58 5.2.3 自定义编译器配置 ................................................................ 58 5.2.4 feature 段落......... 1 rust调用 ffi函数 .................................................................. 68 6.3.2 将 rust 编译成库 .................................................................. 71 6.4 堆，栈，BOX.............

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 第 16 章 附录 370 16.1 编程环境安装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 16.2 一起参与创作 . . . . 章 前言 www.hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请参照附录所示的教程进行安装，如果已安装，则可跳过此步骤。 第二步：克隆或下载代码仓库。前往 GitHub 仓库。如果已经安装 Git ，可以通过以下命令克隆本仓库： git clone https://github.com/krahets/hello-algo 。 图 2‑4 递归调用深度 在实际中，编程语言允许的递归深度通常是有限的，过深的递归可能导致栈溢出错误。 2. 尾递归 有趣的是，如果函数在返回前的最后一步才进行递归调用，则该函数可以被编译器或解释器优化，使其在空 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下

Amphitheatre 配置⽂ 件， 执⾏标准 CI/CD ⼯ 作流，轻松发布! 开发⼯程师需要在本机安装各种编程语⾔的运⾏时和相关的框 架以及库，随着业务规模的增⻓，多语⾔多版本的维护和管理 变得越来越复杂。 技术栈杂多 研发流程⻓达⼗⼏个步骤：安装开发软件、配置环境、克隆代 码、开发、本地调试、提交代码、编译构建、⾃动化测试、部 署到测试环境、测试验收、合并代码到主线、部署到⽣产环 境… 研发流程繁⻓ 研发流程繁⻓ 起因：开发者之痛 为了部署测试，不仅要学习容器化、Kubernetes，还要申请资 源安装配置各项中间件，学习成本⾼，费⼼费⼒ 复杂的基础设施 Build Test Code Deploy Release Test Integrate Push Inner Loop Outer Loop 戏单（正在测试中的环境） 1 排练（申请环境） 2 替换（切换版本） 终端软 件会识别 .devcontainer 规范，借助内置的 Syncthing 将变化的代码增量同步到 Amphitheatre 集群内，让你 可实时构建并预览到效果。 为了加速构建，集群内将直接编译并替换掉当前可执 ⾏的进程，⽽⾮全量构建镜像再发到到镜像仓库，然 后再拉取镜像替代旧的 Pod 等⼀系统慢⻓的流程。 Buildpacks How Buildpacks work 分析 探测

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370 第 16 章 附录 371 16.1 编程环境安装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372 16.2 一起参与创作 . . . . 第 0 章 前言 hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请参照附录所示的教程进行安装，如果已安装，则可跳过此步骤。 第二步：克隆或下载代码仓库。前往 GitHub 仓库。如果已经安装 Git ，可以通过以下命令克隆本仓库： git clone https://github.com/krahets/hello-algo 。 图 2‑4 递归调用深度 在实际中，编程语言允许的递归深度通常是有限的，过深的递归可能导致栈溢出错误。 2. 尾递归 有趣的是，如果函数在返回前的最后一步才进行递归调用，则该函数可以被编译器或解释器优化，使其在空 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 第 16 章 附录 369 16.1 编程环境安装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370 16.2 一起参与创作 . . . . 第 0 章 前言 hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请参照附录所示的教程进行安装，如果已安装，则可跳过此步骤。 第二步：克隆或下载代码仓库。前往 GitHub 仓库。如果已经安装 Git ，可以通过以下命令克隆本仓库： git clone https://github.com/krahets/hello-algo 。 图 2‑4 递归调用深度 在实际中，编程语言允许的递归深度通常是有限的，过深的递归可能导致栈溢出错误。 2. 尾递归 有趣的是，如果函数在返回前的最后一步才进行递归调用，则该函数可以被编译器或解释器优化，使其在空 间效率上与迭代相当。这种情况被称为「尾递归 tail recursion」。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下