新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 企业级数据解决方案专家 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 域“卡脖子”现象的发生。 海致科技集团、海致星图联合清华大学研发的“ AtlasGraph 大规模图数据分析平 台”荣获中国计算机学会（ CCF ： China Computer Federation ）“ 2021 年 CCF 科 学技术奖科技进步卓越奖”。 伴随市场对于知识图谱应用的不断深入，图数据规模和应用性能之间的矛盾愈 加凸显，海致针对以上背景展开了系统性的技术攻关，解决了图数据的高效存

券商、量化私募等众多大型金融机构提供优质的算法 交易解决方案。 公司介绍 证监会信息技术系统备案 国家高新技术企业 科技型中小企业 双软企业资质认证 智能投研技术联盟核心成员 100+ 团队规模 80亿+ 日均成交额 100+ 合作机构 公司结构 50% 工程师 20% 策略研究 20% 运维中台 10% 市场商务 上海 徐汇漕河泾 总部 浦东世纪汇 策略中心 母单/信息上传 统计信息查询等 数据获取 模型训练 信号预测 交易指令 交易指令 森林模型的 Rust 展开 预测 大规模的新闻实时 spider 以及 NLP 分析 互联网新闻因子 配备 8TB 内存 +8 显卡定制机型，分布式超大 规模的 LSTM 等训练，单台价值 100w，支持 全天候多周期预测 自建机房 Rust 全栈应用实践 - 模型训练与在线预测 Rust

从并行编译到并行程序设计 • Rust社区与并行编译 目录 相关浅谈 Rust编译速度之殇 编译器设计造成编译速度缓慢 · 单态化 · 借用检查 · 宏展开 · MIR优化 ... Rust规模编译速度慢于C++ Rust编译速度之殇 提升编译效率成为近年社区重点工作 并行编译或成下一代编译效率突破利器 2017-2021，Rust编译速度已提升一倍以上 Rust社区编译器性能工作组 任务粒度与并行效率的关系 rayon库中的粒度控制函数 死锁的检测和处理 基于rayon线程池的自动触发式死锁检测 通过有向图环路检测移除死锁 Rust社区与并行编译 Rust社区与并行编译 18年1月由编译器团队成员提出 成立社区工作组 陷入技术阻塞，人员逐渐流失 编译器Roadmap寻求帮助 解决技术阻塞，工作组重启 THANKS

不同线程即使销毁也无所谓 ● 如果 T: Sync，那么可以安全的在线程间共享 T ● Rust 的类型推导系统和编译检查跨线程传递和共享的对象 是否满足 Send + Sync TiKV ● 大规模分布式 Key-Value 数据库 ● 支持 ACID 跨行事务支持 ● 支持 MVCC 无锁的快照读 ● 构建于 Raft 之上，不依赖分布式文件系统 ○ 更少的第三方依赖 ○ 更高的性能（低延迟） 极高的性能要求，尽可能低延迟，而且延迟需要稳定 ● 设计分布式系统的逻辑，极其复杂 ○ Raft ○ Multi-Raft ○ 分布式测试框架 ● 和 C 的模块大量交互 ● 开发人员和时间不足 ○ 5 人的团队，希望半年左右发布第一个可用版本 TiKV 的语言选型参考 ● Go ● C++11 ● Rust TiKV 整体架构 KV API Coprocessor Txn, Transaction

因多种原因适合许多人。让我们看看几个最重要的群体。 开发者团队 Rust 已证明是一个对于具有不同系统编程知识水平的大型开发团队协作而言，非常高效的工 具。底层代码容易出现各种微妙的错误，在大多数其他语言中，这些错误只能通过广泛的测试 和经验丰富的开发者的仔细审核代码来捕捉。在 Rust 中，编译器充当了守门员的角色，拒绝 编译包含这些难以察觉的错误的代码，包括并发错误。通过与编译器合作，团队可以将时间集 中在程序逻辑上，而不是追踪 适合学生群体，也适合有兴趣学习系统概念的人。许多人通过 Rust 学习了操作系统开发 等主题。社区对学生问题非常欢迎并乐于回答。通过类似这本书以及其他内容的努力，Rust 团队希望使系统概念能为更多人所易于理解，特别是编程新手。 公司 数百家大小规模的公司在生产环境中使用 Rust 完成各种任务，包括命令行工具、Web 服务、 DevOps 工具、嵌入式设备、音视频分析与转码、加密货币、生物信息学、搜索引擎、物联网 于何处并没有特定的要求，如果你更倾向于使用集成开发环境（IDE），而不是命令 行，请尽管使用你喜欢的 IDE。目前很多 IDE 都在一定程度上支持 Rust；查看 IDE 文档以了解更多细节。Rust 团队一直致力于借助 rust-analyzer 提供强大的 IDE 支 持。详见附录 D。 创建项目目录 首先创建一个存放 Rust 代码的目录。Rust 并不关心代码的存放位置，不过对于本书的练习和

因多种原因适合许多人。让我们看看几个最重要的群体。 开发者团队 Rust 已被证明是一个对于具有不同系统编程知识水平的大型开发团队协作而言，非常高效的 工具。底层代码容易出现各种微妙的错误，在大多数其他语言中，这些错误只能通过广泛的测 试和经验丰富的开发者的仔细审核代码来捕捉。在 Rust 中，编译器充当了守门员的角色，拒 绝编译包含这些难以察觉的错误的代码，包括并发错误。通过与编译器合作，团队可以将时间 集中在程序逻辑上，而不是追踪 适合学生群体，也适合有兴趣学习系统概念的人。许多人通过 Rust 学习了操作系统开发 等主题。社区对学生问题非常欢迎并乐于回答。通过类似这本书以及其他内容的努力，Rust 团队希望使系统概念能为更多人所易于理解，特别是编程新手。 公司 数百家大小规模的公司在生产环境中使用 Rust 完成各种任务，包括命令行工具、Web 服务、 DevOps 工具、嵌入式设备、音视频分析与转码、加密货币、生物信息学、搜索引擎、物联网 于何处并没有特定的要求，如果你更倾向于使用集成开发环境（IDE），而不是命令 行，请尽管使用你喜欢的 IDE。目前很多 IDE 都在一定程度上支持 Rust；查看 IDE 文档以了解更多细节。Rust 团队一直致力于借助 rust-analyzer 提供强大的 IDE 支 持。详见附录 D。 创建项目目录 首先创建一个存放 Rust 代码的目录。Rust 并不关心代码的存放位置，不过对于本书的练习和

数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为渐近复杂度分析（asymptotic hello‑algo.com 37 } exp_recur(n - 1) + exp_recur(n - 1) + 1 } 指数阶增长非常迅速，在穷举法（暴力搜索、回溯等）中比较常见。对于数据规模较大的问题，指数阶是不 可接受的，通常需要使用动态规划或贪心算法等来解决。 5. 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为 ? ，由于每轮缩减到一半，因 指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以消除实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 时间复杂度 ‧ 时间复杂度用于衡量算法运行时间随数据量增长的趋势，可以有效评估算法效率，但在某些情况下可 能失效，如在输入的数据量较小或时间复杂度相同时，无法精确对比算法效率的优劣。

数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为渐近复杂度分析（asymptotic com 37 return 1; } exp_recur(n - 1) + exp_recur(n - 1) + 1 } 指数阶增长非常迅速，在穷举法（暴力搜索、回溯等）中比较常见。对于数据规模较大的问题，指数阶是不 可接受的，通常需要使用动态规划或贪心算法等来解决。 5. 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为 ? ，由于每轮缩减到一半，因 指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以消除实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 时间复杂度 ‧ 时间复杂度用于衡量算法运行时间随数据量增长的趋势，可以有效评估算法效率，但在某些情况下可 能失效，如在输入的数据量较小或时间复杂度相同时，无法精确对比算法效率的优劣。

数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为「渐近复杂度分析 asymptotic 复杂度分析 hello‑algo.com 37 exp_recur(n - 1) + exp_recur(n - 1) + 1 } 指数阶增长非常迅速，在穷举法（暴力搜索、回溯等）中比较常见。对于数据规模较大的问题，指数阶是不 可接受的，通常需要使用动态规划或贪心算法等来解决。 5. 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为 ? ，由于每轮缩减到一半，因 指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以消除实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 时间复杂度 ‧ 时间复杂度用于衡量算法运行时间随数据量增长的趋势，可以有效评估算法效率，但在某些情况下可 能失效，如在输入的数据量较小或时间复杂度相同时，无法精确对比算法效率的优劣。

基于云原生渲染和 物理引擎的应用案例 物理建模 全部用户之间、用户与道具 和场景间均可实时物理交互 横向扩展能力 单个节点的计算复杂度和 网络通信复杂度，不会随 集群总规模的上升而上 升，集群可线性扩容 单机架构 同屏大规模物理量模拟 单机渲染帧率3fps VS Motphys 分布式架构 10倍于上述场景中的物理量 单机渲染帧率 25fps 物理集群帧率 50fps 此时物理模拟已不是算力瓶颈