新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 利 43 项， CCF -A 类论文 51 篇，获得 2 次国际竞赛冠军，参与了 2 项图计算相关标准制定。 AtlasGraph 架构及实现 图技术简介 Takeway “ 世界是复杂关系的总和”—— 一张典型的知识图谱 电话 / 同通讯录 / 绑定同账户 /... Mac 地址 /IP 地址 /wifi... 亲属 / 同事 / 一致行动 人 / 担保同地址 / 同设备登

Excel 转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. TDengine 应用开发组 • Python/Rust/Go 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 • BI 系统接入 TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表， 支持 Schemaless 写入  支持从 Kafaka, MQTT, OPC, PI System 以及文 件直接导入  数据源导入时，可定义规则引擎 TDengine: 与上下游应用的关系 TDengine = Time-Series Database + Caching + Data Subscription + Stream Processing Shell: Command

）还是整数（ %d ）还是 字符（ %c ），必须和右边的参数一致，初学者容易搞错 。 • 而且即使搞错了也能正常编译通过（一些高级的编译器会 给出警告），但是运行结果不对，或者还有可能崩溃。 泛型的 iostream 应运而生 • 得益于 C++ 的重载技术， cout 不用你手动指定类型，他 会自动识别参数的类型，帮你调用相应的格式化函数。 c_str 和 data 的区别 • s.c_str() 正确（推荐） 字符串的连接（ + 运算符） • 错误： • 正确： C++14 新特性：自定义字面量后缀 • 不少同学就觉得这样好麻烦，其他语言都是直接 “ hello” 就是字符串类 型， C++ 还得套一层壳 string(“hello”) 才能变成安全封装的类型，才能用他 的成员函数。 • 因此， C++14 引入了一项缓解“键盘压力”的新特性： • 写 “ hello”_s mylib::String 重载个 + 运算符，和标准库的 std::string 其实是同等 地位的。 • 虽然也可以给 std::string 定义很多个不同的 + 重载，每个针对不同的数字类 型（ int 、 float 、 double ）排列组合，但是这样没有可扩展性，而且影响编 译速度。 • 所以 cpp 说，你必须手动把 42 先转换为字符串，然后再和已有的字符串相 加： • “you

互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事  MySQL MySQL 基本介绍 基本介绍  MySQL MySQL 优化方式 优化方式  MySQL MySQL 技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 Windows) Windows) • 访问速度飞快，是所有 访问速度飞快，是所有 MySQL MySQL 文件引擎中速度最快的 文件引擎中速度最快的 • 不支持一些数据库特性，比如 事务、外键约束等 不支持一些数据库特性，比如 事务、外键约束等 • Table level lock Table level lock ，性能稍差，更适合读取多的操作 ，性能稍差，更适合读取多的操作 InnoDB Space 的方式来进行数据存储 的方式来进行数据存储 (ibdata1, ib_logfile0) (ibdata1, ib_logfile0) • 支持 事务、外键约束等数据库特性 支持 事务、外键约束等数据库特性 • Rows level lock , Rows level lock , 读写性能都非常优秀 读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问

Vec3IGrid ， IntGrid ， PointsDataGrid • 我们并不知道他们之间的继承关系，可能有也可能没有。但是在 Zeno 中，我们必须有。 • 他们还有一些成员函数，这些函数可能是虚函数，也可能不是。 • 如何在不知道 OpenVDB 每个类具体继承关系的情况下，实现我们想要的继承关系，从而 实现封装和代码重用？简单，只需用一种被小彭老师称为类型擦除 (type-erasure) https://www.boost.org/doc/libs/1_55_0/doc/html/ boost_typeerasure.html 类型擦除利用的是 C++ 模板的惰性实例化， Java 的泛型是做不到滴 • 由于 C++ 模板惰性编译的特性，这个擦除掉的表达式会在你实例化 AnimalWrapper 的时候 自动对 T 进行编译。这意味着如果你给他一个不具有一个名为 speak 成员函数的类（比如这里 main 之前执行的不是 printf 而是别的比较复杂的表达式呢？ • 可以用逗号表达式的特性，总是会返回后一个 值，例如 (x, y) 始终会返回 y ，哪怕 x 是 void 也没关系。因此只需要这样写就行： • static int helper = ( 任意表达式 , 0); 顺便一提： lambda 的妙用 • 小彭老师小技巧： • []{ xxx; yyy; return

灵活的可组合性 • 任意定制 Poll 的执行逻辑 (Join / Select / Timeout) • 动态的调用关系 • 痛点：观测与调试工具无法理解灵活的执行逻辑 • Backtrace 不够直观 ( 调用栈 -> 调用树 ) • Tracing 无法追踪调用关系的变化 Async Rust 观测与调试的痛点 Async Rust 回顾 • 特性：用户态调度的无栈协程 • Pending 设计原理与实现 2 回顾 Async Rust 的设计与痛点 1 Await-Tree 的 应用与真实案例 3 Await Tree 在 RisingWave 中的应用 • 云原生 SQL 流式数据库 • risingwave.com • GitHub 4.5k Stars • “Materialized View” • 计算：分布式流计算任务，实时增量维护 • 存储： S3 上的 Shared-storage Rust 可观测性的灵丹妙药 总结 • Async 生态下的 Stack Tree Backtrace 工具 • 实时观测各个 Task 的执行状态 • 直观分析 Task/Future 间的依赖阻塞关系 • 将 Await-Tree 集成在自己的 Async Rust 系统中！ • github.com/risingwavelabs/await-tree Thank you ！

为什么需要 SIMD ？单个指令处理四个数据 • 这种单个指令处理多个数据的技术称为 SIMD （ single-instruction multiple-data ）。 • 他可以大大增加计算密集型程序的吞吐量。 • 因为 SIMD 把 4 个 float 打包到一个 xmm 寄存器里同时运算，很像数学中矢量的逐元 素加法。因此 SIMD 又被称为矢量，而原始的一次只能处理 1 个 float 内联与否和 inline 没关系，内联与否只取决于是否在同文件，且函数体够小 要性能的，定义在头文件声明为 static 即可，没必要加 inline 的 static 纯粹是为了避免多个 .cpp 引用同一个头文件造成冲突，并不是必须 static 才内 联 如果你不确定某修改是否能提升性能，那你最好实际测一下，不要脑内模拟 inline 在现代 C++ 中有其他含义，但和内联没有关系，他是一个迷惑性的名字 引入了标准化的 std::assume_aligned ： movups 变成了 movaps 对齐的读写可能 带来微乎其微的 性能提升…… 数组求和： reduction 的优化 你看懂了吗？没关系！小彭老师也没看 懂！总之非常高效就对了！ 第 5 章：循环 循环中的矢量化：还在伺候指针别名 我们可怜的编译器啊！他还在担心 a 和 b 指向的数组是否有重合。 考虑 func(a, a +

提示：老师的电脑是 6 个物理核心， 12 个逻辑核心。 • 似乎这里 reduce 的加速比是逻辑核心数量，而 for 的加速比是物理核心的数量？ • 剧透：因为本例中 reduce 是内存密集型， for 是计算密集型。 • 超线程对 reduce 这种只用了简单的加法，瓶颈在内存的算法起了作用。 • 而本例中 for 部分用了 std::sin ，需要做大量数学运算，因此瓶颈在 ALU 。 • lambda 体内 r 的 begin 和 end 也会返回 tbb::concurrent_vector 的迭代 器类型。 • 第一个 tbb::blocked_range 尖括号里的类 型可以省略是因为 C++17 的 CTAD 特 性。第二个则是用了 decltype 自动推导 ，也可以 (auto r) ，这里写具体类型仅为 教学目的。 TBB 中其他并发容器 第 7 章：并行筛选 void 。 • TBB 支持嵌套的并行，因此流水线内部也可以调用 tbb::parallel_for 进一步并行。 流水线的利弊 • 流水线式的并行，因为每个线程执行的指令之间往往 没有关系，主要适用于各个核心可以独立工作的 CPU ， GPU 上则有 stream 作为替代。 • 流水线额外的好处是可以指定一部分 filter 为串行的 （如果他们没办法并行调用的话）而其他 filter

fabsf(float x); • 这样就没有转换成 double 的开销了。 • 此外， 3.14 也最好改成 3.14f 。因为 3.14 是 double 类型的常量， 3.14f 才是 float 类 型的常量。 std::abs 函数：自动根据参数类型判断要使用的重载 • 在 C++ 中可以用 std::abs 替代 abs ，这个 在 std 命名空间中的版本是带有多种重载的。 • 建议别用全局的任何函数（ 来分配动态数组。 • ( 类型 *)malloc( 数组长度 * sizeof( 类型 )) • new 类型 [ 数组长度 ] • 可见 C++ 版本更加简洁了，不需要乘以 sizeof( 类 型 ) 。 • 不过要注意释放的时候必须用 delete[] 而不是普通的 delete ，这个方括号不能省略！ 如果想要的是任意类型的数组呢？ • 规则： • 使用 malloc 分配的请用 他就一直在那里。 • 这样函数退出时不会释放数组，调用者就 可以访问到正确的数据了。 • 当然这样需要调用者在退出时手动调用一 下 free(a) ，因为堆内存不会自动释放。 太复杂了？没关系，用 C++ 的容器库 • 如果你觉得这样自己管理内存太麻烦了，那是 正常的。对于不精通 C 语言的小白程序员来 说，很容易就忘记释放内存了。 • 因此 C++ 提供了符合 RAII 思想的

OpenTSDB 协议  内存时序数据库  存储计算分离架构  分级存储  永久代  CeresDB 开源 2022.6 2023.3  开源版本 CeresDB 开始研 发 2023.6  1.2.2 版本发布  优化了写入性能  优化了分布式方案 CeresDB – 目标 解决时间线高基数问题 • 能高效处理好 APM 型时序数据 • 同时能高效处理好高基数时间线场景 spawn(task2) cpu_runtime.spawn(task3) 生产实践 – Preemption 总结： Mixed workload: 碰到混合负载的时候，把 CPU 密集型任务隔离出去 会得到比较好的效果。 相关 Blog ： 1. https://tokio.rs/blog/2020-04-preemption 2. https://www.influxdata