第三届中国Rust开发者大会 Rust Atomic Deep Dive Pu Wang @ DatenLord 2023/06/17 Rust原子操作高性能实践 What are atomic operations in Rust? What Why need atomic operations? Why How 01 02 03 Memory order in atomic operations

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 科学技术奖被认为是计算机科学与技术领域最具影响力的专业奖项之一， 其中科技进步卓越奖是 CCF 科技

2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 1. 应用链框架 2. 高性能 3. 互操作（Interoperability） 4. EVM EVM 兼容 5. Rust What is Axon What is Axon 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 1. Mempool（交易池） 2. Consensus (Overlord) 3. P2P (Tentacle) 4. Interoperation 可维护性，开发完成后，各个模块需要维护、升级和改进 • 可扩展性 • 高性能 • 高并发 • 高可靠性 • 代码管理 • … 大型项目的开发难点 ■ 抽象 ■ 便于协作开发 ■ 易于测试 优点 Mempool Traits 实现 实现 测试代码 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现

 查询性能优化  Prometheus 协议支持  基于 InfluxDB 单机引擎研发 分布式方案  OpenTSDB 协议  内存时序数据库  存储计算分离架构  分级存储  永久代  CeresDB 开源 2022.6 2023.3  开源版本 CeresDB 开始研 发 2023.6  1.2.2 版本发布  优化了写入性能  优化了分布式方案 按需使用，如果是纯内存计算的时候，使用 blocking mutex 比较好。 生产实践 – Mixed workload Write Read Compact Runtimes 问题： CeresDB 监控写 OSS 耗时高， OSS 监控看耗时低。 生产实践 – Mixed workload runtime.spawn(task0) runtime.spawn(task1) runtime.spawn(task2)

涵盖异常的事前、事中、事后的全方位监控 基于 Rust 异步编程框架开发，风控逻辑可插拔，兼顾部署灵活性与执行性能 风控服务端和桌面客户端 Rust 全栈应用实践 - 桌面客户端、风控 高性能异步日志库 ftlog Rust 全栈应用实践 - 开源 1. 特性丰富实用： 时间切分 受限写入 异步写入 按业务多目标写入 .... 2. 性能优秀 Rust 代码， 静态编译为 native 二进制 3. 进一步提升研究->回测->实盘 的迭代效率 在浏览器内基于 Rust + WebAssembly 的高性能可视化工具 直接在 web 中直接看因子值 Rust 应用场景展望 - 高性能可视化 预测值和策略执行细节并即席调优 商务合作 技术交流 官网：ft.tech 电话：021-5071 9392 地址：上海市徐汇区漕河泾开发区

Local queue task Local queue Core 高权重线程 Worker Worker 任务优先级调度 根据工作线程的优先级进行绑核（大小核） • 高优先级任务在大核执行，高性能 • 低优先级任务在小核执行，节省能耗 Task priority and quality of service Big Core Little Core 高优先级线程 低优先级线程 普通优先级线程 将数据容器内的数据进行递归二分，对左 半和右半分别生成一个异步任务。最终对 单个数据执行用户业务逻辑 IO & CPU 融合 南向调度融合  IO & CPU 通过设置不同优先级，进 入不同线程池调度  线程池根据负载监控（任务平均等待 时间等数据）进行线程池动态扩缩 容。  任务窃取 Fusion of IO/CPU intensive 结构化并发 Structured Concurrency 核心在于通 在同步环境阻塞等待子异步任务完成，在异步 环境异步等待子异步任务完成  优先级继承：子任务默认继承父任务优先级， 也可使用 detached 模式指定其他优先级  任务取消：取消父任务，也将取消所有子任务 性能 Performance 耗时 ( 单位 us) Tokio ylong 耗时比 / tokio IO 低并发，低传输 40,279 49,018 1.217

s t 使 用 TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型 arrow taosX - 数据汇聚 CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 Why Rust ? • 安全性 • 高性能 • 跨平台兼容 • 强大的类型系统和抽象表达能力 • 优秀的 Rust 生态和开发工具链 • C FFI 互操作能力 • async/await 异步编程 Rust - Crates Used in

Rust 和 C++ 适用于类似的场景： • 极高的灵活性。 • 高度的控制能力。 • 能够在资源匮乏的设备（如手机）上运行。 • 没有运行时和垃圾收集。 • 关注程序可靠性和安全性，而不会牺牲任何性能。 4.2 Rust 的优势 Rust 有一些独特的卖点： 23 • 内存安全：在编译时可防止所有类内存 bug – 不存在未初始化的变量。 – 不存在“双重释放”。 – 不存在“释放后使用”。 利用借用检查消除了一类 运行 。你可以达到堪比 C 和 C++ 的性能， 而没有内存不安全的问题。并且你还可以得到些现代的语言构造，比如模式匹配和内置依赖管理。 • 使用过 Java、Go、Python、JavaScript......：你可以得到和这些语言相同的内存安全特性，并拥 有类似的使用高级语言的感受。同时你可以得到类似 C 和 C++ 的高速且可预测的执行性能（无垃圾 回收机制），以及在需要时对底层硬件的访问。 对所有指针 进行解引用操作，从而消除了释放后使用等各类 bug。但是，垃圾回收 (GC) 会产生运行时成本，并 且很难进行适当调优。 在许多情况下，Rust 的所有权和借用模型可以实现 C 语言的性能，能够精确地在所需位置执行分配和释 放操作，且为零成本。它还提供类似于 C++ 智能指针的工具。必要时，它还提供引用计数等其他选项，甚至 还有第三方 crate 可以支持运行时垃圾回收（本课程中不作介绍）。

题时能够作出专业的反应和判断，从而提升工作的整体质量。举一个简单例子，每种编程语言都内置了排序 函数： ‧ 如果我们没有学过数据结构与算法，那么给定任何数据，我们可能都塞给这个排序函数去做了。运行顺 畅、性能不错，看上去并没有什么问题。 ‧ 但如果学过算法，我们就会知道内置排序函数的时间复杂度是 ?(? log ?) ；而如果给定的数据是固定 位数的整数（例如学号），那么我们就可以用效率更高的“基数排序”来做，将时间复杂度降为 个算法的效率。最直接的方法 是找一台计算机，运行这两个算法，并监控记录它们的运行时间和内存占用情况。这种评估方式能够反映真 实情况，但也存在较大的局限性。 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能表现。比如一个算法的并行度较高，那 么它就更适合在多核 CPU 上运行，一个算法的内存操作密集，那么它在高性能内存上的表现就会更好。也 就是说，算法在不同的机器上的测试结果可 www.hello‑algo.com 19 ‧ 它无需实际运行代码，更加绿色节能。 ‧ 它独立于测试环境，分析结果适用于所有运行平台。 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。

A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 是找一台计算机，运行这两个算法，并监控记录它们的运行时间和内存占用情况。这种评估方式能够反映真 实情况，但也存在较大的局限性。 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能。比如在某台计算机中，算法 A 的运行 时间比算法 B 短；但在另一台配置不同的计算机中，可能得到相反的测试结果。这意味着我们需要在各种机 在以下两个方面。 ‧ 它独立于测试环境，分析结果适用于所有运行平台。 第 2 章 复杂度分析 hello‑algo.com 19 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 维 方式。 ‧ 从数据结构角度看，递归天然适合处理链表、树和图的相关问题，因为它们非常适合用分治思想进行分 析。 2.2.3 两者对比 总结以上内容，如表 2‑1 所示，迭代和递归在实现、性能和适用性上有所不同。 表 2‑1 迭代与递归特点对比 第 2 章 复杂度分析 hello‑algo.com 27 迭代 递归 实现方 式 循环结构 函数调用自身 时间效 率 效率通常较高，无函数调用开销