Rust 异步 Runtime 的兼容层 施继成 @ DatenLord Introduce what’s rust async runtime # Rust async runtime Analyze the reason of runtime isolation # Async runtime binding # Compatible layer 1 Create a wheel

生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘 AtlasGraph 架构及实现 新一代图技术应用特征简介 Takeaway AtlasGraph 架构概览 存储层 副本管理 CRAQ 图原生存储 索引 LSM-Tree 容灾保障 （ BR ） 元数据层 事务管理 MVOCC 计算层 Cypher AST 优化器 图计算 内存加速引 擎 服务接口 HTTP/RPC Spark Spark 连接器 Python UDF 执行器 索引管理 一致性存储 RAFT 分片管理 元数据 集群管理 用户权限 GNN 应用层 Atlas 图平台 Atlas Studio Atlas Client 基础 设施 Docker/K8S/VM X86/ARM - 基于 RUST 语言保证性能优势 - 分布式架构性能可线性扩展 - 针对大规模图优化的存算引擎

我深深赞同费曼教授所言：“Knowledge isn’t free. You have to pay attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。 本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github ”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归：

我深深赞同费曼教授所言：“Knowledge isn’t free. You have to pay attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。 本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github ”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归：

我深深赞同费曼教授所言：“Knowledge isn’t free. You have to pay attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请 各位老师和同学批评指正。 本书中的代码附有可一键运行的源文件，托管于 github ”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为「尾递归 tail recursion」。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归：

用的内在详细实现。我们也可以将模块和它其中的项标记为公开的，这样，外部代码就可以使 用并依赖于它们。 作为示例，让我们编写一个提供餐厅功能的库 crate。我们将定义函数的签名，但将其函数体 留空以便将注意力集中在代码的组织结构上而不是餐厅实现的细节。 在餐饮业，餐馆中会有一些地方被称之为前台（front of house），还有另外一些地方被称之为 后台（back of house）。前台是招待顾客 eat_at_restaurant 中调用 add_to_waitlist 时，使用的是相对路径。这个路径以 front_of_house 为起始，这个模块在模块树中与 eat_at_restaurant 定义在同一层级。与之等 价的文件系统路径就是 front_of_house/hosting/add_to_waitlist。以模块名开头意味着该路 径是相对路径。 137/562Rust 程序设计语言 简体中文版 {largest}"); } 示例 10-2：寻找两个数组最大值的代码 虽然代码能够执行，但是重复的代码是冗余且容易出错的，更新逻辑时我们不得不记住需要修 改多处地方的代码。 为了消除重复，我们要创建一层抽象，定义一个处理任意整型列表作为参数的函数。这个方案 使得代码更简洁，并且表现了寻找任意列表中最大值这一概念。 在示例 10-3 的程序中将寻找最大值的代码提取到了一个叫做 largest 的函数中。接着我们调

我深深認同費曼教授所言：“Knowledge isn’t free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github capacity 觀察以上公式，當雜湊表容量 capacity 固定時，雜湊演算法 hash() 決定了輸出值，進而決定了鍵值對在雜 湊表中的分佈情況。 這意味著，為了降低雜湊衝突的發生機率，我們應當將注意力集中在雜湊演算法 hash() 的設計上。 6.3.1 雜湊演算法的目標 為了實現“既快又穩”的雜湊表資料結構，雜湊演算法應具備以下特點。 ‧ 確定性：對於相同的輸入，雜湊演算法應始終產生相同的輸出。這樣才能確保雜湊表是可靠的。 left subtree 左子树 左子樹 right subtree 右子树 右子樹 root node 根节点 根節點 leaf node 叶节点 葉節點 edge 边 邊 level 层 層 degree 度 度 height 高度 高度 depth 深度 深度 perfect binary tree 完美二叉树 完美二元樹 complete binary tree 完全二叉树

eat_at_restaurant 中调用 add_to_waitlist ，使用的是相对路径。这个 路径以 front_of_house 为起始，这个模块在模块树中，与 eat_at_restaurant 定义在同一层 级。与之等价的文件系统路径就是 front_of_house/hosting/add_to_waitlist 。以模块名开头 意味着该路径是相对路径。 选择使用相对路径还是绝对路径，要取决于你的项目，也取决于你是更倾向于将项的定义代码 largest); } 示例 10-2：寻找 两个 数字列表最大值的代码 虽然代码能够执行，但是重复的代码是冗余且容易出错的，更新逻辑时我们不得不记住需要修 改多处地方的代码。 为了消除重复，我们要创建一层抽象，定义一个处理任意整型列表作为参数的函数。这个方案 使得代码更简洁，并且表现了寻找任意列表中最大值这一概念。 在示例 10-3 的程序中将寻找最大值的代码提取到了一个叫做 largest 的函数中。接着我们调 中并打印出来 首先使用 use 语句来将 std::env 模块引入作用域以便可以使用它的 args 函数。注意 std::env::args 函数被嵌套进了两层模块中。正如 第七章 讲到的，当所需函数嵌套了多于一 层模块时，通常将父模块引入作用域，而不是其自身。这便于我们利用 std::env 中的其他函 数。这比增加了 use std::env::args; 后仅仅使用 args

● 事务层与账户层分 离 ● 独立水平扩展 ● CQRS ● Event Sourcing ● 针对读场景，写场 景分别优化 ● 稳定的底层 API ● 灵活的顶层 API ● 树状结构 ● 聚合查询 ● 正确性：内存安全，线程安全 ● 可靠性： Raft 共识算法 raft-rs ● 高性能：关键路径无锁单线程 顶层架构 ● Gateway 路由层 ○ 业务 Marker 事务层 ○ 使用业务 id 进行路由 ○ 执行转账计划 ○ 分发账户变动请求 ● Auticuro 账户层 ○ 使用账户 id 进行分区 ○ 执行账户变动请求 ○ 更新账户余额 分布式账务系统 性能展示 8 vCPUs * 5 节点 SSD 磁盘 当 TPS = 10K 时， 延迟 P99 < 20ms 分布式账务系统 高吞吐，超低延迟 账户层： Auticuro Auticuro 分布式账务系统 账户层： Auticuro ● 1. 接受转账请求，转换成 events ○ Tokio + Tonic 分布式账务系统 1 2 3 4 ● 1. 接受转账请求，转换成 events ● 2. 将 events 送入 Raft 共识，等待 events 被多数节点保存 ○ 共识：基于 raft-rs 的可靠消息队 列 ○ 存储： Rocksdb

• 存储(ClickHouse) 整体架构 • 协议层 • 处理层 • 计算层 • 存储层 系统实现 协议层 • 支持协议 • Loki • 写入 • Json/ProtoBuf • 查询 • LogQL • Log Queries • Metric Queries • OpenTSDB • 统计/计算 协议层 • Parser • 手写 • 为什么？ • Lo 测试 • Fuzz testing 处理层 • Processor • 初始化 • 静态/动态 • 执行 • 读/写 • 结构 • prediccate • process(&self, streams: Streams) -> Streams • 类型 • 修改原始数据 • 抽取原始数据字段 • Json/LogFmt 计算层 • 大部分计算交给ClickHouse • Vector matching • 匹配两个Vector 存储层 • WAL • 移植LevelDB的 WAL • 定长的 Block • Batch 写入 ClickHouse • Flush Worker • 异步任务定时刷新 WAL • 清理策略 • Schema同步 • 转换SQL 存储层 • ClickHouse • 使用Array来保存 Labels