Rust并行编译的挑战与突破 李原 2022年5月28日 • 相关浅谈 • Rust并行编译的挑战与突破 • 从并行编译到并行程序设计 • Rust社区与并行编译 目录 相关浅谈 Rust编译速度之殇 编译器设计造成编译速度缓慢 · 单态化 · 借用检查 · 宏展开 · MIR优化 ... Rust规模编译速度慢于C++ Rust编译速度之殇 提升编译效率成为近年社区重点工作 代码复杂度及健壮性 · benchmark资源限制 · profileing成本 ... 收益 > 代价？ Rust并行编译的挑战与突破 挑战：消减共享数据结构效率损失 共享数据结构的性能损耗问题 基于条件编译的共享数据结构实现 缺点：用户需自行生成编译器 挑战：消减共享数据结构效率损失 Specailization —— 基于GAT的共享数据结构实现 接口 入口 非共享 数据结构 执行结果 同一份代码 线程数为1 线程数大于1 同一份代码 缺点：业务代码带有泛型参数 挑战：消减共享数据结构效率损失 动态线程安全检查 —— 自动切换数据同步模式 数据结 构方法 数据 同步 数据 同步 返回结果 线程数为1 线程数>1 Lock 单线程 同步器 多线程 同步器 挑战：并行环境内存分配器的设计 allocator1 allocator2 allocator3

度高，研制难度大，创新性强，项目成果整体达到国际先进水平， 其中异质图建模与表示学习技术和超大规模图学习系统处于国际领 先水平。” 以终为始，以行为知，这一项目从图计算所面临的挑战出发，解决了大规模图数据所产生 的建模能力不足、结构知识难用、巨量数据难算等技术挑战，实现了大规模复杂异质图数 据的表示学习模型、语义推荐和风险管理关键技术，构建了完整的兼具理论指导与应用检 验的大规模图数据智能分析系统与平台，满足了大数据时代从复杂异质图数据中进行知识 图分析工具集 • 图咨询服务 Source ： Graph Aware 图数据库发展趋势 AtlasGraph 研发背景 • 业务对大图分析的诉求（千亿点、万亿边） • 实时风控对图库的性能挑战（ OLTP 毫秒级响应） • 海致图平台产品服务于金融、政府行业有大量业务经验积累（接近客户需求） • 现有开源产品无法满足要求（受限于基础架构设计，优化性能有限） 新一代分布式图数据库需具备的特性

Reclaim问题：示例2 创建未初始化的变量foo Panic将导致访问未初始化内存 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 研究挑战和思路 ❑ 研究挑战：指针分析是NP-hard问题 ▪ 准确性：应采用路径敏感的指针分析算法，避免过多误报 ▪ 分析效率：应基于Rust MIR的特点对算法进行优化，使其可行 ❑ 整体思路：基于编译过程中的生成的MIR进行静态分析

“Materialized View” • 计算：分布式流计算任务，实时增量维护 • 存储： S3 上的 Shared-storage 存储状态和数据 Await Tree 在 RisingWave 中的应用 • 技术挑战 • 计算任务需长期执行，稳定性要求高 • 算子逻辑复杂，计算与存储读写穿插，强依赖 Async • Await-Tree 的应用 • 数次帮助解决棘手的 Async Stuck 问题 • 长期于生产环境部署，性能开销极低

欢迎阅读《Rust 程序设计语言》，这是一本关于 Rust 的入门书籍。Rust 程序设计语言能帮助 你编写更快、更可靠的软件。在编程语言设计中，高层的工程学与底层的控制往往是难以兼得 的；而 Rust 则试图挑战这一矛盾。通过平衡强大的技术能力与优秀的开发者体验，Rust 为你 提供了控制底层细节（如内存使用）的选项，而无需承受通常与此类控制相关的所有繁琐细 节。 Rust 适合哪些人 Rust 因多种 理器的优势而显得愈 发重要。由于历史原因，在此类上下文中编程一直是困难且容易出错的：Rust 希望能改变这 一现状。 起初，Rust 团队认为确保内存安全和防止并发问题是两个分别需要不同方法应对的挑战。随 着时间的推移，团队发现所有权和类型系统是一系列解决内存安全和并发问题的强有力的工 具！通过利用所有权和类型检查，在 Rust 中很多并发错误都是编译时错误，而非运行时错误。 因此，相比花费大量时间尝试重现运行时并发 现在让我们深入理解 Rust 的异步编程实际上是如何工作的！在接下来的章节中，我们将： • 学习如何使用 Rust 的 async 和 await 语法 • 探索如何使用异步模型来解决第十六章中遇到的一些挑战 • 了解多线程和异步如何互补，在很多场景中你甚至可以同时使用两者 377/562Rust 程序设计语言 简体中文版 Futures 和 async 语法 Rust 异步编程的关键元素是 futures

欢迎阅读《Rust 程序设计语言》，这是一本关于 Rust 的入门书籍。Rust 程序设计语言能帮助 你编写更快、更可靠的软件。在编程语言设计中，高层的工程学与底层的控制往往是难以兼得 的；而 Rust 则试图挑战这一矛盾。通过平衡强大的技术能力与优秀的开发者体验，Rust 为你 提供了控制底层细节（如内存使用）的选项，而无需承受通常与此类控制相关的所有繁琐细 节。 Rust 适合哪些人 Rust 因多种原 多处理器 的优势而显得愈发重要。由于历史原因，在此类上下文中编程一直是困难且容易出错的：Rust 希望能改变这一点。 起初，Rust 团队认为确保内存安全和防止并发问题是两个分别需要不同方法应对的挑战。随 着时间的推移，团队发现所有权和类型系统是一系列解决内存安全 和 并发问题的强有力的工 具！通过利用所有权和类型检查，在 Rust 中很多并发错误都是 编译时 错误，而非运行时错 误。因此，相比花费大量时间尝试重现运行时并发 的 Worker 实例 4. 在 ThreadPool::new 中，使用 for 循环计数生成 id ，使用这个 id 新建 Worker ，并储 存进 vector 中 如果你渴望挑战，在查示例 20-15 中的代码之前尝试自己实现这些修改。 准备好了吗？示例 20-15 就是一个做出了这些修改的例子： 文件名：src/lib.rs use std::thread; pub

强的人能够顺利将地雷逐个排掉，而基础不足的人很可能被炸得满头是包，并在挫折中步步退缩。通读教材 也是一种常见做法，但对于面向求职的人来说，毕业论文、投递简历、准备笔试和面试已经消耗了大部分精 力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 点和用法，学习不同算法的原理、流程、用途和效 率等方面的内容。 2. 阶段二：刷算法题。建议从热门题目开刷，先积累至少 100 道题目，熟悉主流的算法问题。初次刷题 时，“知识遗忘”可能是一个挑战，但请放心，这是很正常的。我们可以按照“艾宾浩斯遗忘曲线”来 复习题目，通常在进行 3～5 轮的重复后，就能将其牢记在心。推荐的题单和刷题计划请见此 GitHub 仓库。 3. 阶段三：搭建知

强的人能够顺利将地雷逐个排掉，而基础不足的人很可能被炸得满头是包，并在挫折中步步退缩。通读教材 也是一种常见做法，但对于面向求职的人来说，毕业论文、投递简历、准备笔试和面试已经消耗了大部分精 力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 点和用法，学习不同算法的原理、流程、用途和效 率等方面的内容。 2. 阶段二：刷算法题。建议从热门题目开刷，先积累至少 100 道题目，熟悉主流的算法问题。初次刷题 时，“知识遗忘”可能是一个挑战，但请放心，这是很正常的。我们可以按照“艾宾浩斯遗忘曲线”来 复习题目，通常在进行 3～5 轮的重复后，就能将其牢记在心。推荐的题单和刷题计划请见此 GitHub 仓库。 3. 阶段三：搭建知

强的人能够顺利将地雷逐个排掉，而基础不足的人很可能被炸得满头是包，并在挫折中步步退缩。通读教材 也是一种常见做法，但对于面向求职的人来说，毕业论文、投递简历、准备笔试和面试已经消耗了大部分精 力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 率等方面的内容。 2. 阶段二：刷算法题。建议从热门题目开刷，如“剑指 Offer”和“LeetCode Hot 100”，先积累至少 100 道题目，熟悉主流的算法问题。初次刷题时，“知识遗忘”可能是一个挑战，但请放心，这是很正常的。 我们可以按照“艾宾浩斯遗忘曲线”来复习题目，通常在进行 3～5 轮的重复后，就能将其牢记在心。 3. 阶段三：搭建知识体系。在学习方面，我们可以阅读算法专栏文章、解题框架和算法教材，以不断丰富

leepers, 5).await; } • async_trait 易于使用，但请注意，它通过堆分配来实现这一点。这种堆分配会产生性能开销。 • 对于 async trait 的语言支持中的挑战是深入 Rust 的，并且可能不值得深入描述。如果您对深 入了解感兴趣，Niko Matsakis 在这篇文章中对它们做了很好的解释。 • 尝试创建一个新的 sleeper 结构，使其随机休眠一段时间，并将其添加到