新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 科学技术奖被认为是计算机科学与技术领域最具影响力的专业奖项之一，

这样之后如果有一个任务是要基于 eatFood 做文章，比如要重复 eatFood 两遍。 • 就可以封装到一个函数 eatTwice 里，这个函数只需接受他们共同的基类 IObject 作为参数，然后调 用 eatFood 这个虚函数来做事（而不是直接操作具体的猫和狗本身）。 • 这样只需要写一遍 eatTwice ，就可以对猫和狗都适用，实现代码的复用（ dont-repeat-yourself ）， 模板函数？未免有些差强人意 • 索性把 eatTwice 声明为模板函数的确能解决问题，但模板函数不是面向对象的思路，并 且如果 cat 和 dog 是在一个 IObject 的指针里就会编译出错，例如右图的 vector （这是游戏引擎中很常见的用法）。 正确解法：额外定义一个 clone 作为纯虚函数，然后让猫和狗分别实现他 clone 的调用 • 这样一来，我们通用的 make_shared(*obj) ，这就实现了拷 贝的多态。 如何批量定义 clone 函数？ • 可以定义一个宏 IOBJECT_DEFINE_CLONE ，其内容是 clone 的实现。这里我们用 std::decay_t 快速获取了 this 指针所指向的类型，也就是当前所在类的类型 。 • 宏的缺点是他不遵守命名空间的规则，宏的名 字是全局可见的，不符合

• function 中则是基于定义者所在路径，优先访问定义者的作用域。这里需要 set(key val PARENT_SCOPE) 才能修改到外面的变量。 第二章：第三方库 / 依赖项配置 用 find_package 寻找系统中安装的第三方库并链接他们 find_package 命令 • 常用参数列表一览： • find_package( [version] 的文件，我称之为包配置文件。 • Qt5Config.cmake 是你安装 Qt5 时，随 libQt5Core.so 等实际的库文件，一起装到你的 系统中去的。以我的 Arch Linux 系统为例： • 包配置文件位于 /usr/lib/cmake/Qt5/Qt5Config.cmake 。 • 实际的动态库文件位于 /usr/lib/libQt5Core.so 。 find_package /usr/lib/cmake/opencv4/OpenCVConfig.cmake • 同样都是可以被 find_package(OpenCV REQUIRED) 搜索到的。 安装在非标准路径的库 • 以 Qt5 为例，如果你安装在下列标准路径， find_package 能够自动找到。 • Windows ： C:/Program Files/Qt5.12.1/lib/cmake/Qt5/Qt5Config.cmake

注意有的教材上写做： • template • 是完全等价的，只是个人喜好不同。 模板函数：自动推导参数类型 • 那这样需要手动写 ， 用起 来还不如重载方便了？ • 别担心， C++ 规定： • 当模板类型参数 T 作为函数参数时，则可 以省略该模板参数。自动根据调用者的参 数判断。 模板函数：特化的重载 • 有时候，一个统一的实现（比如 没关系，只需添加一个 twice(std::string) 即可，他会自动和已有的模板 twice(T) 之间相互重载。 模板函数：特化的重载（续） • 但是这样也有一个问题，那就是如果我用 twice(“hello”) 这样去调用，他不会自动隐 式转换到 std::string 并调用那个特化函数 ，而是会去调用模板函数 twice(“hello”) ，从而出错。 boost 编译慢的原因找到了……因为他们用了大量的模板 。 模板的应用：编译期优化案例 • 在右边这个案例中，我们声明了一个 sumto 函数，作用是求出从 1 到 n 所有 数字的和。 • 用一个 debug 参数控制是否输出调试信 息。 • 但是这样 debug 是运行时判断，这样即 使是 debug 为 false 也会浪费 CPU 时 间。 模板的应用：编译期优化案例（续）

写作动机 当情况不明时，抱着一个纯粹的目标干事就行了，其他 的留给时间检验。不懂就学，技术写作更像一种共创， 要反复总结和修改 ( 费曼学习法 ) 。 写作本书给我的启示 基础、排序、查找、树、图 代码框、颜色、图片绘制均由 Latex 完成 可参考点 为什么 为什么讲这个话题？ 为什么要讲数据结构和算法两部分？ 算法相关知识 算法相关知识 • 抽象数据类型 • 时空复杂度 • 什么是抽象数据类型？ 为什么需要抽象数据类型？ 时空复杂度 • 时间复杂度更被看重 • 时间和空间复杂度不是对立的，可以协同 时间和空间复杂度 复杂度计算 • 大Ｏ标记法（数量级近似） • 用 AI 来估计 算步骤、算存储 Rust 基本数据结构复杂度 线性数据结构 非线性数据结构 总体来看，时间复杂度没有超过 O(n) 的！ Rust 实现数据结构 • 栈 • 链表 • 字典树 • 图 Rust 实现算 法 蒂姆排序 什么是蒂姆排序？ 蒂姆排序 位运算 高低位排序区别处理 https://github.com/QMHTMY/RustBook/blob/main/publication/code/chapter07/tim_sort_without_gallop.rs 字典树 怎么确定单词结束？ 需要区分大小写吗？ 图 如何定义点、边、图？ 图

DIA_CUDA_Programming_Guide_1.1_chs.pdf CUDA 编译器兼容 C++17 • CUDA 的语法，基本完全兼容 C++ 。包括 C+ +17 新特性，都可以用。甚至可以把任何一个 C++ 项目的文件后缀名全部改成 .cu ，都能编 译出来。 • 这是 CUDA 的一大好处， CUDA 和 C++ 的关 系就像 C++ 和 C 的关系一样，大部分都兼容 kernel() ，而 是要用 kernel<<<1, 1>>>() 这样的三重尖括 号语法。为什么？这里面的两个 1 有什么用 ？稍后会说明。 • 运行以后，就会在 GPU 上执行 printf 了。 • 这里的 kernel 函数在 GPU 上执行，称为核 函数，用 __global__ 修饰的就是核函数。 没有反应？同步一下！ • 然而如果直接编译运行刚刚那段代码，是不会打印出 GPU 上执行，从 CPU 端通过三重尖括号语法调 用，可以有参数，不可以有返回值。 • 而 __device__ 则用于定义设备函数，他在 GPU 上执行，但是从 GPU 上调用的，而 且不需要三重尖括号，和普通函数用起来一 样，可以有参数，有返回值。 • 即： host 可以调用 global ； global 可以调 用 device ； device 可以调用 device

运维 / 开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 用 户 运行阶段 需求阶段 研发阶段 现代软件交付挑战：开发 5 分钟，上线 2 小时 服务一：设计 | 代码编写 | 构建 | 测试 | 部署 工程师不再花时间在开发写代码之外的脏活累活，比如服务部署、找环境，服务编排等 Infra 的事情。 1 0 0 % 开 源 基 本 能 力 开 源 1.5 个月核心重构 65% 功能实现开源 支撑开源社区开发者环境 易 用 性 增 强 接入：安装 10 分钟以内，成功率达 90% 集成环境：支持开发者 Remote debug 工作流：效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建

本课涵盖：稀疏矩阵、 unordered_map 、空间稀 疏网格、位运算、浮点的二进制格式、内存带宽优 化 面向人群：图形学、 CFD 仿真、深度学习编程人 员 第 0 章：稀疏矩阵 稠密数组存储矩阵 用 foreach 包装一下枚举的过程 改用 map 来存储 分离 read/write/create 三种访问模式 foreach 直接给出当前坐标指向的值 改用 unordered_map 来存储 可以存储 8 个 bit 用 map 来存储 读取：如果不存在，则读到 0 写入：如果不存在，则创建该表项 用 unordered_map 来存储 map 基于红黑树，会按照键值排序，需要键值具有 operator< 重载，复杂度 O(logn) C++11 新增的 unordered_map 基于哈希表，不保证顺序但更高效，需要键值能被哈希，复杂度 O(1) 用 unordered_map 对稀疏数据结构造成的问题 • 如果这里的 x 是负数，则 x % B 也是负数，会造成对 m_block 的越界访问。 • 因此 % 会返回负数对 CFD 用户来说是个很大的坑点，很多人想当然地用 % 做循环边界， 然而这对负方向会不起作用。 解决： (a % b + b) % b • 我看一些 CFD 用户喜欢写 (a + b) % b 做循环边界 ，从而避免负方向上出错。然而这还是避免不了

char 是有 符号 8 位整数，而 char 类型只需是 8 位整数即可，可以是有符号也可以 是无符号，任凭编译器决定（ C 标准委员会传统异能， khronos 直呼内行） 。 • 以 GCC 为例，他规定 char 在 x86 架构是有符号的 (char = signed char) ，而在 arm 架构上则认为是无符号的 (char = unsigned char) ，因为他 认为“ arm long long 即可）。 关于 char 类型的一个冷知识 C 语言中的字符串 • 字符串 (string) 就是由字符 (character) 组成的数组。 • C 语言中，字符串用双引号 “” 包裹，字符用单引号 ‘’ 包裹 。 • char c = ‘h’; • char s[] = “hello”; C 语言中的字符串 • 正如 ‘ h’ 是个语法糖，等价于 h 的 ASCII 0 是怎么回事？原来 C 语言的字符串因为只保留数组的 首地址指针（指向第一个字符的指针），在以 char * 类型 传递给其他函数时，其数组的长度无法知晓。为了确切知 道数组在什么地方结束，规定用 ASCII 码中的“空字符”也 就是 0 来表示数组的结尾。这样只需要一个首地址指针就 能表示一个动态长度的数组，高，实在是高。 “0 结尾字符串”知识点应用举例 • 利用 C 语言字符串“以 0

/ 数 据 迭 代 方 式 已 经 无 法 适 应 ， 软 件 工 程 化 时 代 已 然 到 来 。 Z a d i g 软 件 工 程 平 台 是 国 内 落 地 程 度 最 深 、 使 用 范 围 最 广 （ 近 千 家 企 业 ） 的 云 原 生 D e v O p s 平 台 。 领先企业抢先实践 Zadig Zadig 研发数字化转型方案正成为产业数字化战略的核心环节 测试工程师 • 升级预发环境 • 升级生产环境 • 变更数据库 发布工程师 核心场景介绍：不同角色工程师基于统一协作平面，操作使用自动化工作流和云原生环境 面向角色 功能描述 工作流名称样例 具体配置 开发工程师 CI 过程 project-unit-test project-scan • 单元测试、代码扫描 更新日常开发环境及 dev 业务配 置 project-dev-workflow Apollo/Nacos ）、数 据变更、部署生产环境（变量变更、模板 变更）、场景测试 管理员 ( 运维 ) 准备——工作 流 管理员 ( 运维 ) 准备——工作 流 面向角色 环境描述 环境名称样例 场景介绍 开发工程师 用于日常开发、联调 dev 如果 Java 栈实现灰度能力，可以通过新建环境随时拉 起开发自测子环境 如果采用 Istio + Skywalking 技术栈，通过 Zadig