新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 科学技术奖被认为是计算机科学与技术领域最具影响力的专业奖项之一，

构建、部署、代码生成、 Go“ 坑”大检阅 示例代码与勘误 践行哲学，遵循惯例，认清本质，理解原理 • https://github.com/bigwhite/ GoProgrammingFromBeginnerToMaster 读书实践与体会 第三部分 Go 技术图书阅读：从外刊到内刊 Go 中文图书 Go 外文图书 读书方法 精读 • 选择高质量图书 • 脑图 + 细节摘录 ) • 碎片化（快读） + 听书 小结 第四部分 小结 • 写书三要素 • Go 精进之路导读：思维先行，践行哲学，遵循惯例，认清本 质，理解原理 • 读书：选高质量图书精读 ( 脑图 + 细节摘录 + 行动清单） 谢谢

账户层： Auticuro 分布式账务系统 1 2 3 4 事务层： Marker 分布式账务系统 A,B,C 在不同分区执行一个事务的 TCC 转账计划 ● 转账计划 ○ 有向无环图 ○ 节点是一个任务 ○ 边是依赖关系 ● 事务层 Marker 负责执行计划 ○ ACID 保证 ○ 依赖控制 ○ 条件执行 ○ 调度账户变动请求 跨分区转账 分布式账务系统 拥抱开源 Rust Rust 与原有技术栈的融合 ● Kotlin ： 偏业务，适合快速迭代 ● Rust ：偏基础架构，适合精心打磨 ● gRPC ：跨语言跨平台通讯 心路历程 真刀实枪 – 开发调试部署 IDE JetBrains + Rust 插件 Gitlab CI/CD 心路历程 真刀实枪 – 文档工具 文档生成 CI/CD git page 作为文档 心路历程 吐槽点 ●

写作动机 当情况不明时，抱着一个纯粹的目标干事就行了，其他 的留给时间检验。不懂就学，技术写作更像一种共创， 要反复总结和修改 ( 费曼学习法 ) 。 写作本书给我的启示 基础、排序、查找、树、图 代码框、颜色、图片绘制均由 Latex 完成 可参考点 为什么 为什么讲这个话题？ 为什么要讲数据结构和算法两部分？ 算法相关知识 算法相关知识 • 抽象数据类型 • 时空复杂度 • 字典树 • 图 Rust 实现算 法 蒂姆排序 什么是蒂姆排序？ 蒂姆排序 位运算 高低位排序区别处理 https://github.com/QMHTMY/RustBook/blob/main/publication/code/chapter07/tim_sort_without_gallop.rs 字典树 怎么确定单词结束？ 需要区分大小写吗？ 图 如何定义点、边、图？ 图 图 点和边操作注意事项 图 联想：图数据结构的的点、边、面似乎满足欧拉公式 : V – E + F = 2 、则时间复杂度为： O(V+E) = O(2E – F + 2) • V = 14; E = 18; F = 5 + 1; • V+E = 32 • 2E – F + 2 = 32 总结及学习资源 • 算法总结 • 学习资源 总结及学习资源 Rust 算法总结

系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 服务一：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务二：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务三：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 以前：面向代码片段的串行交付 现在：面向多个服务编排的产品级自动化并行交付 服务一： 服务定义 | 构建 | 部署 | 测试 | 发布 服务二： 服务定义 | 构建 | 部署 | 测试 | 发布 服务三： 服务定义 | 构建 | 部署 | 测试 | 发布 代码一： 代码编写 | 构建 | 部署 | 测试 | 发布 代码二：

不过，这个功能同样需要开启 CUDA_SEPARABLE_COMPILATION 。 第 2 章：内存管理 如何从核函数里返回数据？ • 我们试着把 kernel 的返回类型声明为 int ，试 图从 GPU 返回数据到 CPU 。 • 但发现这样做会在编译期出错，为什么？ • 刚刚说了 kernel 的调用是异步的，返回的时候 ，并不会实际让 GPU 把核函数执行完毕，必须 cudaDeviceSynchronize() html#math-libraries 稍微快一些，但不完全精确的 __sinf • 两个下划线的 __sinf 是 GPU intrinstics ，精度相当于 GLSL 里的那种。 适合对精度要求不高，但有性能要求的图 形学任务。 • 类似的这样的低精度內建函数还有 __expf 、 __logf 、 __cosf 、 __powf 等。 • 还有 __fdividef(x, y) 提供更快的浮点除法 ，和一般的除法有相同的精确度，但是在 0 ， arr[33] 又是 bank 1 。 区块冲突（ bank conflict ） • 然而这种设计有一个问题，那就是如果多个线程同时访问到 了同一个 bank 的话，就需要排队。比如右图，线程 0-3 同 时访问了 bank 0 ，但是同一个 bank 是需要排队，也就是 串行访问的，所以线程 0-3 实际上没有真正并行起来，慢了 4 倍！ • 那可能你觉得好像没什么问题，反正一般不会让两个线程访

及自建资源（容器、主机、车 机、端等），释放云原生价值 和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 上下游伙伴 安全简单自主可控：私有化 部署，现有服务 0 迁移成本 、体验丝滑接入容易、学习 使用门槛极低 现存做法大多以「单点工具 + 写脚本」或运管类平台为主， Zadig 则是面向开发者视角，中立，云原生一体化价值链平台。 与现存 Jenkins 方案 GitLab + Jenkins + 脚本化 运行效率低，管理维护成本高 方案局限性大，安全性风险高 无法支持敏捷交付模式 支持从需求到发布全流程敏捷交付。尤其面向 多服务并行部署发布，云原生构建环境和运行 环境，基础设施对接及企业级 SSO/ 权限管理 等 运维管理类平台 蓝鲸 Rainbond KubeSphere KubeVela 面向资源管理的运维工具集 华为云 DevCloud 阿里云效 腾讯 CODING 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连 接一切工具链

模板函数？未免有些差强人意 • 索性把 eatTwice 声明为模板函数的确能解决问题，但模板函数不是面向对象的思路，并 且如果 cat 和 dog 是在一个 IObject 的指针里就会编译出错，例如右图的 vector （这是游戏引擎中很常见的用法）。 正确解法：额外定义一个 clone 作为纯虚函数，然后让猫和狗分别实现他 clone 的调用 • 这样一来，我们通用的 并且即使多个线程同时调用了 func ，这个变量的 初始化依然保证是原子的（ C++11 起）。 • 这就是函数静态初始化 (func-static-init) 大法。 函数静态初始化可用于“懒汉单例模式” • 如右图。 • getMyClassInstance() 会在第一次调用时创 建 MyClass 对象，并返回指向他的引用。 • 根据 C++ 函数静态变量初始化的规则，之后 的调用不会再重复创建。

加上去没有任何变化），是因为 第一个数太大了，要表示 1234000.01 需要 9 位有效位数。 • 而单精度浮点数 float 的底数有 23 位，指数有 8 位（图 1 ）。 • 双精度浮点数 float 的底数有 52 位，指数有 11 位（图 2 ）。 double: float: http://c.biancheng.net/view/314.html 以求最大值为案例 用定点数来表示

Rust 在系统编程已经取得了巨大成功 培养更广泛的 Rust 开发 围绕 LLM 生态封装相应的 Rust 框 架，让开发者能够使用简单的 Rust 写 应用 如何用 Rust 实现的 构建和部署 AI 相关工作流的 serverless 平台 • 上传 Rust function ，平台负责将 Rust 编译成 Wasm ，并运行在 WasmEdge 安全容 器中 • 平台封装了一些常用 GitHub 、 Discord 、向量数据库比如 qdront 。 • 整个 serverless 平台是为 Rust 和 WebAssembly 设计的 视频演示如何使用 serverless 的方式部署 一个 PR review 机器人。 待插入视频，大概是 2 分钟的录屏 Talk is cheap, show me the code! • Telegram ChatGPT 机器 人 •