新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

这些整数，而 8 位整数的表示范围是 2^8 也就是 0~255 ，足以表示所有 ASCII 字符了（多余的部分实际上被用于表示 中文）。 • char 和整数无异，例如 ‘ a’ 实际上会被编译器翻译成他对应的 ASCII 码： 97 。写 ‘ a’ 和写 (char)97 是完全一样的，方便阅读的语法糖而已。 “char 即整数”思想应用举例 “char 即整数”思想应用举例 C 语言帮手函数 ，因为 cpp 字符串没要求一定是 ‘ \0’ 结尾，字符串里是可以包含 ‘ \0’ 的。 C++14 新特性：自定义字面量后缀 • 如果你 using namespace std; 其实标准库已经自动帮你定义好了 “” s 后缀。 • 这里 “ hello”s 就等价于原本繁琐的 string(“hello”) 了。 C++14 新特性：自定义字面量后缀 • 如果你觉得 using namespace 233_i32 ， cpp 做得到吗？ • cpp 标准委员会：谢邀，人在 cpp14 ，已经在 operator“”_i32 了。 • 其实 cpp 这种自定义挺好的，把自由度给到用户。 • 例如标准库说 “ hello”s 是 std::string ，“ hello”s 是 std::string_view 。 • 我也可以定义一个 “ hello”ms 是 mylib::String ，而且还是受

C++ 标准库系列课 - 你所不知道的 set 容 器 by 小彭老师（ @archibate ） 课件 & 代码： https://github.com/parallel101/course 上期回顾： https://www.bilibili.com/video/BV1qF411T7sd 课程安排 1. vector 容器初体验 & 迭代器入门 (BV1qF411T7sd) 2. 你所不知道的 拟出来的 + n 复杂度为 O(n) 。虽然低效，但至少可 以用了。 std::next 等价于 + • 但是这样手写三个 ++ 太麻烦了 ，而且是就地操作，会改变迭代 器本身。 • 因此标准库提供了 std::next 函 数，他的内部实现相当于这样： • 没错，他会自动判断迭代器是否 支持 + 运算，如果不支持，会 改为比较低效的调用 n 次 ++ 。 std::advance 等价于 • 如果找不到，则返回 end() 迭代器。 • 刚刚说过， end() 指向的是 set 的尾部 再之后一格元素，他指向的是一个不存在 的地址，不可能有任何元素在那里！因此 end() 常被标准库用作一个标记，来表示 找不到的情况。 Python 中的 find 找不 到元素时会返回 -1 来表示，也是这个思 想。 • iterator find(int const &val) const;

WasmEdge 安全容 器中 • 平台封装了一些常用 LLM 和 SaaS 的 API ，并发布成了 crate ，比如 ChatGPT 、 telegram 、 GitHub 、 Discord 、向量数据库比如 qdront 。 • 整个 serverless 平台是为 Rust 和 WebAssembly 设计的 视频演示如何使用 serverless 的方式部署 一个 PR review 机器人。 ChatGPT 机器 人 • PR Review 机器人 使用 Rust 构建基于 ChatGPT 的 Telegram 机器人 1. 通过不同的 prompt 扮演不同的角色，并且拥有短期记忆 2. Chat with images 3. Chat with text 这个机器人可以： 使用 Rust 构建基于 ChatGPT 的 Telegram 机器人 "0.1.0" 基于 ChatGPT com/flows-network/review- any-pr-with-chatgpt 使用 Rust 构建基于 ChatGPT 的 Telegram 机器人 1. 通过不同的 prompt 扮演不同的角色，并且拥有短期记忆 2. Chat with images 3. Chat with text 这个机器人可以： "0.1.0" 基于 ChatGPT 的 Telegram 机器人 Cargo.toml "0

就干净许多，只是创建了 biology 这个静态库对象，并通过 GLOB_RECRUSE 为他批量添加 了所有位于 src 和 include 下源码和头文件。 • 根项目的 CMakeLists.txt 负责处理全局有效的设定。而子 项目的 CMakeLists.txt 则仅考虑该子项目自身的设定，比 如他的头文件目录，要链接的库等等。 四、子项目的头文件 • 这里我们给 biology • 在声明和定义外面都套一层名字空间，例如此处我的子项目名是 biology ，那 我就 biology::Animal 。避免暴露全局的 Animal 。这是因为万一有个“不拘一 格”的第三方库也暴露个全局的 Animal ，两个符号就会发生冲突，由于类符号 都具有 weak 属性，链接器会随机选择一个覆盖掉，非常危险！ • （关于符号的 weak 属性，以后单独开一门 C++ 课讲讲，这一课还是重点关注 function 中则是基于定义者所在路径，优先访问定义者的作用域。这里需要 set(key val PARENT_SCOPE) 才能修改到外面的变量。 第二章：第三方库 / 依赖项配置 用 find_package 寻找系统中安装的第三方库并链接他们 find_package 命令 • 常用参数列表一览： • find_package( [version] [EXACT]

gmake 。 对于 VS 7 ， 它被设置为 devenv. 对于 Nmake 构建文件，它的值为 nmake 。 • CMAKE_DL_LIBS: 包含 dlopen 和 dlclose 的库的名称。 • CMAKE_COMMAND: 指向 cmake 可执行程序的全路径。 • CMAKE_CTEST_COMMAND: 指向 ctest 可执行程序的全路径。 • CMAKE_EDIT_COMMAND: 第 3 章：链接库文件 main.cpp 调用 mylib.cpp 里的 say_hello 函数 改进： mylib 作为一个静态库 改进： mylib 作为一个动态库 改进： mylib 作为一个对象库 https://www.scivision.dev/cmake-object-libraries/ 对象库类似于静态库，但不生成 .a 文件，只由 CMake 记住该库生成了哪些对象文件 mylib 作为一个对象库 https://www.scivision.dev/cmake-object-libraries/ 对象库类似于静态库，但不生成 .a 文件，只由 CMake 记住该库生成了哪些对象文件 对象库是 CMake 自创的，绕开了编译器和操作系统的各种繁琐规则，保证了跨平台统一性 。 在自己的项目中，我推荐全部用对象库 (OBJECT) 替代静态库 (STATIC) 避免跨平台的麻烦

被编译器自动优化成 了 memset ，而 memset 内部利用了 stream 指令得以更快写入。 写入 1 比写入 0 更慢？解决 • 解决办法就是，我们也用 stream 指令， 这样就可以和标准库优化过的 memset 一 样快了。 Intel Intrinsics Guide • _mm 系列指令出自 头文件。 • 指令的文档可以看这个网站： • https://www 对访存优化而言则意味着可以放心地用 _mm_prefetch ，也更高效。 标准库的 new 和 malloc ：只保证 16 字节对齐 • 不过其实标准库的 new 和 malloc 已经 可以保证 16 字节对齐了。如果你只需要 用 _mm_load_ps 而不用 _mm256_load_ps 的话，那直接用标准库 的内存分配也没问题。 标准库的 new 和 malloc ：只保证 16 字节对齐 • 众所周知，内存是一维的，因此任何二维数组，都必须被扁平化，才能储存在内存中。 • 对于 float a[3][4] 编译器实际上会把他变成一维数组 float a[3*4] ，然后把 a[i][j] 翻译为 a[i * 4 + j] 。 C++ 静态数组 • array a; 可以在栈上分配有 n 个元素的一维数组。 • 通过 a[i] 访问第 i 个元素。 • array

0 码力 | 147 页 | 18.88 MB | 1 年前

3

Rust ， Rust 中国 大会也才第三届，期待 Rust 中国大会第十届 Rust 处于起步阶段 中文圈学习资料或书籍少，有部分是翻译国外产品，能 不能中国人向国外输出作品 Rust 缺少学习资源 Rust 未来大有可为 Rust 在操作系统，数据库，各种框架和工具上应用范围 广 写作动机 当情况不明时，抱着一个纯粹的目标干事就行了，其他 的留给时间检验。不懂就学，技术写作更像一种共创， V+E = 32 • 2E – F + 2 = 32 总结及学习资源 • 算法总结 • 学习资源 总结及学习资源 Rust 算法总结 • 复杂度分析及算法优化 • 别自己实现，用标准库 • 利用 Rust 特性实现高效算法 • 技术在进步，用新工具辅助学习 Rust 学习资源 # 社区／公众号 社区： Rust 语言中文社区、乐酷 Rust 技术论坛 公号：觉学社、 Rust

位于等号左侧还是右侧，分成两个独立的函数 。 • 如果等号在左侧，则被他的 ast 模块视为写入上下文（ store context ），翻译成 __setitem__ 。 • 如果等号在右侧，则被他的 ast 模块视为读取上下文（ load context ），翻译成 __getitem__ 。 • 也就是说 Python 的 [] 其实是调用了两个不同的运算符重载： • m[key] = val • vector a = { 1, 4, 2, 8, 5, 7 }; • std::find(a.begin(), a.end(), 5); • 这个 std::find 就是标准库帮我们实现的线性数组中查找元素的算法，让我们用动画演示一 下他的工作原理吧。 1 4 2 8 5 7 内存 地址 a a+1 a+2 a+3 a+4 a+5 vector 查找为什么低效 •

为什么需要库（ library ） • 有时候我们会有多个可执行文件，他们之间用到的某些功能是相同的，我们想把这些共用 的功能做成一个库，方便大家一起共享。 • 库中的函数可以被可执行文件调用，也可以被其他库文件调用。 • 库文件又分为静态库文件和动态库文件。 • 其中静态库相当于直接把代码插入到生成的可执行文件中，会导致体积变大，但是只需要 一个文件即可运行。 • 而动态库则只在生成 CMake 中的静态库与动态库 • CMake 除了 add_executable 可以生成可执行文件外，还可以通过 add_library 生成库 文件。 • add_library 的语法与 add_executable 大致相同，除了他需要指定是动态库还是静态库： • add_library(test STATIC source1.cpp source2.cpp) # 生成静态库 libtest 生成动态库 libtest.so • 动态库有很多坑，特别是 Windows 环境下，初学者自己创建库时，建议使用静态库。 • 但是他人提供的库，大多是作为动态库的，我们之后会讨论如何使用他人的库。 • 创建库以后，要在某个可执行文件中使用该库，只需要： • target_link_libraries(myexec PUBLIC test) # 为 myexec 链接刚刚制作的库 libtest