新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

C++ 标准库系列课 - 你所不知道的 set 容 器 by 小彭老师（ @archibate ） 课件 & 代码： https://github.com/parallel101/course 上期回顾： https://www.bilibili.com/video/BV1qF411T7sd 课程安排 1. vector 容器初体验 & 迭代器入门 (BV1qF411T7sd) 2. 你所不知道的 拟出来的 + n 复杂度为 O(n) 。虽然低效，但至少可 以用了。 std::next 等价于 + • 但是这样手写三个 ++ 太麻烦了 ，而且是就地操作，会改变迭代 器本身。 • 因此标准库提供了 std::next 函 数，他的内部实现相当于这样： • 没错，他会自动判断迭代器是否 支持 + 运算，如果不支持，会 改为比较低效的调用 n 次 ++ 。 std::advance 等价于 • 如果找不到，则返回 end() 迭代器。 • 刚刚说过， end() 指向的是 set 的尾部 再之后一格元素，他指向的是一个不存在 的地址，不可能有任何元素在那里！因此 end() 常被标准库用作一个标记，来表示 找不到的情况。 Python 中的 find 找不 到元素时会返回 -1 来表示，也是这个思 想。 • iterator find(int const &val) const;

gmake 。 对于 VS 7 ， 它被设置为 devenv. 对于 Nmake 构建文件，它的值为 nmake 。 • CMAKE_DL_LIBS: 包含 dlopen 和 dlclose 的库的名称。 • CMAKE_COMMAND: 指向 cmake 可执行程序的全路径。 • CMAKE_CTEST_COMMAND: 指向 ctest 可执行程序的全路径。 • CMAKE_EDIT_COMMAND: 第 3 章：链接库文件 main.cpp 调用 mylib.cpp 里的 say_hello 函数 改进： mylib 作为一个静态库 改进： mylib 作为一个动态库 改进： mylib 作为一个对象库 https://www.scivision.dev/cmake-object-libraries/ 对象库类似于静态库，但不生成 .a 文件，只由 CMake 记住该库生成了哪些对象文件 mylib 作为一个对象库 https://www.scivision.dev/cmake-object-libraries/ 对象库类似于静态库，但不生成 .a 文件，只由 CMake 记住该库生成了哪些对象文件 对象库是 CMake 自创的，绕开了编译器和操作系统的各种繁琐规则，保证了跨平台统一性 。 在自己的项目中，我推荐全部用对象库 (OBJECT) 替代静态库 (STATIC) 避免跨平台的麻烦

为什么需要库（ library ） • 有时候我们会有多个可执行文件，他们之间用到的某些功能是相同的，我们想把这些共用 的功能做成一个库，方便大家一起共享。 • 库中的函数可以被可执行文件调用，也可以被其他库文件调用。 • 库文件又分为静态库文件和动态库文件。 • 其中静态库相当于直接把代码插入到生成的可执行文件中，会导致体积变大，但是只需要 一个文件即可运行。 • 而动态库则只在生成 CMake 中的静态库与动态库 • CMake 除了 add_executable 可以生成可执行文件外，还可以通过 add_library 生成库 文件。 • add_library 的语法与 add_executable 大致相同，除了他需要指定是动态库还是静态库： • add_library(test STATIC source1.cpp source2.cpp) # 生成静态库 libtest 生成动态库 libtest.so • 动态库有很多坑，特别是 Windows 环境下，初学者自己创建库时，建议使用静态库。 • 但是他人提供的库，大多是作为动态库的，我们之后会讨论如何使用他人的库。 • 创建库以后，要在某个可执行文件中使用该库，只需要： • target_link_libraries(myexec PUBLIC test) # 为 myexec 链接刚刚制作的库 libtest

txt 就干净许多，只是创建了 biology 这个静态库对象，并通过 GLOB_RECRUSE 为他批量添加 了所有位于 src 和 include 下源码和头文件。 • 根项目的 CMakeLists.txt 负责处理全局有效的设定。而子 项目的 CMakeLists.txt 则仅考虑该子项目自身的设定，比 如他的头文件目录，要链接的库等等。 四、子项目的头文件 • 这里我们给 biology • 在声明和定义外面都套一层名字空间，例如此处我的子项目名是 biology ，那 我就 biology::Animal 。避免暴露全局的 Animal 。这是因为万一有个“不拘一 格”的第三方库也暴露个全局的 Animal ，两个符号就会发生冲突，由于类符号 都具有 weak 属性，链接器会随机选择一个覆盖掉，非常危险！ • （关于符号的 weak 属性，以后单独开一门 C++ 课讲讲，这一课还是重点关注 function 中则是基于定义者所在路径，优先访问定义者的作用域。这里需要 set(key val PARENT_SCOPE) 才能修改到外面的变量。 第二章：第三方库 / 依赖项配置 用 find_package 寻找系统中安装的第三方库并链接他们 find_package 命令 • 常用参数列表一览： • find_package( [version] [EXACT]

C++ 的四大特殊函数变成了多 态的虚函数，这就是被小彭老师称为自动 虚克隆 (auto-vitrual-clone) 的大法。 Zeno 中对 OpenVDB 对象的封装 • 开源的体积数据处理库 OpenVDB 中有许多“网格”的类（可以理解为多维数组），例如： • openvdb::Vec3fGrid ， FloatGrid ， Vec3IGrid ， IntGrid ， PointsDataGrid (type-erasure) 的大法 。 类型擦除：还是以猫和狗为例 • 例如右边的猫和狗类，假设这两个类是某个第 三方库里写死的，这个第三方库的作者可能没 上过《面向对象程序设计》，居然没有定义一 个公用的 Animal 基类并设一个 speak 为虚 函数。现在你抱怨也没有用，因为这个库是按 LGPL 协议开源的，你只能链接他，不能修改 他的源码，但你的老板却要求你把 speak 变 成一个虚函数！怎么样，是不是准备好递交辞 该类的解构函数一定在 main 之后执行 • 该技巧可用于在程序退出时删除某些文件之类 。 • 这就是小彭老师的静态初始化 (static-init) 大法 。 静态初始化用于批量注册函数 • 我们可以定义一个全局的函数表（右图中的 functab ），然后利用小彭老师的静态初始化 大法，把这些函数在 main 之前就插入到全局 的函数表。 • 这样 main 里面就可以仅通过函数名从

被编译器自动优化成 了 memset ，而 memset 内部利用了 stream 指令得以更快写入。 写入 1 比写入 0 更慢？解决 • 解决办法就是，我们也用 stream 指令， 这样就可以和标准库优化过的 memset 一 样快了。 Intel Intrinsics Guide • _mm 系列指令出自 头文件。 • 指令的文档可以看这个网站： • https://www 对访存优化而言则意味着可以放心地用 _mm_prefetch ，也更高效。 标准库的 new 和 malloc ：只保证 16 字节对齐 • 不过其实标准库的 new 和 malloc 已经 可以保证 16 字节对齐了。如果你只需要 用 _mm_load_ps 而不用 _mm256_load_ps 的话，那直接用标准库 的内存分配也没问题。 标准库的 new 和 malloc ：只保证 16 字节对齐 • ）。 • 因此第二次进入的时候，如果 n 不超过上一次的大小 ，就还是用的第一次分配的内存，避免了重新分配的开 销。对 func 需要被重复调用的情况很实用。 第 6 章：多维数组 C 语言静态数组 • float a[n]; 可以在栈上分配有 n 个元素的一维数组。 • 通过 a[i] 访问第 i 个元素。 • float a[n][m]; 可以在栈上分配 n 行 m 列的二维数组。

，因为 cpp 字符串没要求一定是 ‘ \0’ 结尾，字符串里是可以包含 ‘ \0’ 的。 C++14 新特性：自定义字面量后缀 • 如果你 using namespace std; 其实标准库已经自动帮你定义好了 “” s 后缀。 • 这里 “ hello”s 就等价于原本繁琐的 string(“hello”) 了。 C++14 新特性：自定义字面量后缀 • 如果你觉得 using namespace 233_i32 ， cpp 做得到吗？ • cpp 标准委员会：谢邀，人在 cpp14 ，已经在 operator“”_i32 了。 • 其实 cpp 这种自定义挺好的，把自由度给到用户。 • 例如标准库说 “ hello”s 是 std::string ，“ hello”s 是 std::string_view 。 • 我也可以定义一个 “ hello”ms 是 mylib::String ，而且还是受 ，不会存在强迫别人接受你的那一套后缀名规范。 • 甚至可以自定义一个 class int32 具有成员函数，然后就可以快乐地 233_i32 .some_method() 了。而 rust 这种预先规定好一些后缀，就只能是他们标准库的那 个 int32 ，不能自己定义了。 • 所以 cpp 之父曾经说，他设计 cpp11 的时候，是考虑“如何在对语言本身改动最小的情况下 ，尽量只在标准库里做手脚，尽可能只利用现有的语言特性，实现

即可 。 • 注意： constexpr 函数不能调用 non-constexpr 函数。而且 constexpr 函数必须是内联 （ inline ）的，不能分离声明和定义在另一个文件里。标准库的很多函数如 std::min 也是 constexpr 函数，可以放心大胆在模板尖括号内使用。 模板的难题：移到另一个文件中定义 • 如果我们试着像传统函数那样分离模板函数的声明与实现： • 这里用到了带 auto 的 lambda ，利用了他具有多 次编译的特性，实现编译多个分支的效果。 • std::visit 、 std::variant 的这种模式称为静态多态， 和虚函数、抽象类的动态多态相对。 • 静态多态的优点是：性能开销小，存储大小固定。 缺点是：类型固定，不能运行时扩充。 用 variant 不用 visit ，就像看四大 名著不看红楼梦，后面我忘了，总 之就是只能度过一个相对失败的人 的参数数量要与之匹配。 • std::visit 会自动罗列出所有的排列组合！ • 所以如果 variant 有 n 个类型，那 lambda 就要被编译 n² 次，编译可能会 变慢。 • 但是标准库能保证运行时是 O(1) 的（他 们用函数指针实现分支，不是暴力 if- else ）。 std::visit ：可以有返回值 • std::visit 里面的 lambda 可以有返回值，不过都得同样类型。

互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事  MySQL MySQL 基本介绍 基本介绍  MySQL MySQL 优化方式 优化方式  MySQL MySQL 技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 上面分担一些读压力 和流量，比如一些报表的读取以及静态配置数据的读取模块 都可以放到 M2 上面。比如月统计报表，比如首页推荐商品 业务实时性要求不是很高，完全可以采用这种弱一致性的设 计架构模式。 中间一致性 如果既不是很强的一致性又不是很弱的一致性，那 么我们就采取中间的策略，就是在同机房再部署一个 S1(R) ，作为备库，提供读取服务，减少 M1(WR) 的 压力，而另外一个 压力，而另外一个 idc 机房的 M2 只做 standby 容灾方 式的用途。 当然这里会用到 3 台数据库服务器，也许会增加采 购压力，但是我们可以提供更好的对外数据服务的能力和 途径，实际中尽可能两者兼顾。 MySQL 架构设计—高可用架构  系统优化：硬件、架构 系统优化：硬件、架构  服务优化 服务优化  应用优化 应用优化 MySQL MySQL 优化方式