第三届中国Rust开发者大会 CnosDB时序数据库的Rust实践 Yongtao Liu CnosDB 研发工程师 Rust China Conf 2023 CnosDB 是一款基于 Rust 开发的 开源的分布式时序数据库 1. CnosDB 架构与选型 2. 为何从 Go 切换到 Rust 3. 使用 Rust 经验分享 4. 反哺社区 Optimizer Pluggable Scheduler Logical transform Physical transform 1.4基于DataFusion的高性能查询引擎 • 扩展数据源 • 扩展 SQL 语句 • 扩展流处理引擎 • 扩展优化规则 • 扩展时序函数 1.5 分布式 1. Shared nothing 2. Leaderless NRW vnode vnode vnode vnode vnode vnode... ...... ...... Time Line Meta集群：schema，tenant信息，分片信息 数据节点：存储 vnode数据 Raft write point replica set ...... bucket bucket replica set 2. 为何从 Go

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 企业级数据解决方案专家 为建行、工行、交行、招行、上交所、深交所、中国人寿等 70+ 银行证券保险 企业、公安部、上海市公安局、武汉市公安局等 100+ 公安机构，国家电网、 国信通产业集团等电力能源行业提供数据智能产品解决方案及长期服务。 海致专注为政府、金融、能源等客户提供大数据处理、分析、挖掘服务，在互 联网技术基础上，打造专业、易用的企业级大数据实战应用产品及解决方案。 北京中关村总部 北京中关村总部 武汉运维中心 深圳研发中心 上海应用中心 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站

的物联网和时序数据传输及 转换工具 霍琳贺 涛思数据 Rust China Conf 2023 CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine Rust • OOXML - Excel 解析库 • xlsx2csv - Excel 转 CSV 工具 • Unqlite - 单文件非关系型数据库 • 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 • BI 系统接入 https://taosdata.com/ https://github.com/zitsen CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表，  为提升写入和查询效率，要求一个数据采集点一张表  为实现多表聚合，引入超级表概念  子表通过超级表创建，带有标签，通过标签实现多表

面向对象编程 ............................................................................... 43 4.1 面向对象数据结构 ........................................................................ 43 4.1.1 元祖 ......... ........... 95 7.2.3 通过克隆发送者来创建多个生产者 ........................................... 96 7.2.4 异步通道与同步通道 ............................................................. 97 7.2.5 可发送的消息类型 .............. 4.2 堆 .................................................................................. 102 7.5 同步 ........................................................................................ 102 7.5

借用检查 单态化 二进制生成 增量编译系统 底层数据 结构 Rust语言编译器结构总览 考虑内部编译流程并行化 Rust并行并发 编译时线程安全检查 一些常见线程安全数据结构 常用Rust并行并发库 Rust并行并发 增加程序复杂度 线程安全数据结构造成效率损失 Mutex与RwLock rustc profileing 数据 · 代码复杂度及健壮性 · benchmark资源限制 收益 > 代价？ Rust并行编译的挑战与突破 挑战：消减共享数据结构效率损失 共享数据结构的性能损耗问题 基于条件编译的共享数据结构实现 缺点：用户需自行生成编译器 挑战：消减共享数据结构效率损失 Specailization —— 基于GAT的共享数据结构实现 接口 入口 非共享 数据结构 共享 数据结构 接口 实现 接口 实现 执行结果 同一份代码 线程数为1 线程数为1 线程数大于1 同一份代码 缺点：业务代码带有泛型参数 挑战：消减共享数据结构效率损失 动态线程安全检查 —— 自动切换数据同步模式 数据结 构方法 数据 同步 数据 同步 返回结果 线程数为1 线程数>1 Lock 单线程 同步器 多线程 同步器 挑战：并行环境内存分配器的设计 allocator1 allocator2 allocator3 allocatorN

类似支持异步 IO ，目前已经半废弃 async-std 更轻量化的调度框架，功能被拆分 到其他多个库中， IO 密集场景性 能不如 Tokio smol Rayon 并非异步运行时。它通过同步 多线程模型提供了并行迭代器功能， 适用于处理 CPU 密集型计算任务 rayon 现有框架无法完美适配移动端（一） Core Thread Thread Worker Worker task 异步并发框架 Ylong Runtime 并发框架 华为 Rust 异步并发框架，近期计划在 OpenHarmony 上开源。与 Tokio 类似，同样为事 件驱动型调度框架，提供异步 IO 、定时器、同步原 语等功能。但额外提供：  任务优先级调度  异步并行迭代器  结构化并发 Ylong Runtime 对外 接口 APP/SA 调度器 提 交 任 务 Async function 并行迭代器异步化  可以对 Rust 常规数据容器生成并行迭代器，对容 器内的数据进行异步并行的操作 Fusion of IO/CPU intensive IO & CPU 融合 Fusion of IO/CPU intensive IO & CPU 融合 Fusion of IO/CPU intensive 南向调度融合：异步并行迭代器  将数据容器内的数据进行递归二分，对左 半和右半分别生成一个异步任务。最终对

. . . 128 23.2 函数调用中的生命周期 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 23.3 数据结构中的生命周期 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 23.4 练习：Protobuf 解析 . . 内存安全：在编译时可防止所有类内存 bug – 不存在未初始化的变量。 – 不存在“双重释放”。 – 不存在“释放后使用”。 – 不存在 NULL 指针。 – 不存在被遗忘的互斥锁。 – 不存在线程之间的数据竞争。 – 不存在迭代器失效。 • 没有未定 的运行 行 ：每个 Rust 语句的行为都有明确定义 – 数组访问有边界检查。 – 整数溢出有明确定义（panic 或回绕）。 • 代 言功能：具有与高级语言一样丰富且人性化的表达能力 takes_i8(y); // takes_u32(y); } 这张幻灯片演示了 Rust 编译器是如何根据变量声明和用法来推导其类型的。 需要重点强调的是这样声明的变量并非像那种动态类型语言中可以持有任何数据的“任何类型”。这种声 明所生成的机器码与明确类型声明完全相同。编译器进行类型推导能够让我们编写更简略的代码。 当整数字面量的类型不受限制时，Rust 默认为 i32。这在错误消息中有时显示为{integer}。同样，浮

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.2. 数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 5. 使用结构体组织相关联的数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 10.1. 泛型数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Shanghai, China • SM1 是分组加密算法，实现对称加密，分组长度和密钥长度都为 128 位，对长消息进行加解密时， 若消息长度过长，需要进行分组，如果消息长度不足，则要进行填充。 • 保证数据机密性。 • 算法安全保密强度及相关软硬件实现性能与 AES 相当，该算法不公开，仅以 IP 核的形式存在于芯片 中，调用该算法时，需要通过加密芯片的接口进行调用。 • 采用该算法已经研制了系列芯片、智能 • SM2 为椭圆曲线（ECC）公钥加密算法，非对称加密，提 供加解密、数字签名、证书生成、密钥交换功能。由于以上 用例，也常用于区块链或网络安全密码协议，如SSL/TLS、 VPN。 • 保证数据机密性、真实性和完整性。 • SM2 算法和 RSA 算法都是公钥加密算法，SM2 算法是一 种更先进安全的算法，其性能与安全性优于RSA，在我们国 家商用密码体系中被用来替换 RSA 算法。 • • 保证数据机密性、真实性和完整性。 • 在商用密码体系中，SM9 主要用于用户的身份认证，据新华网公开报道，SM9 的加密强度等同于 3072 位密钥的 RSA 加密算法，也就是 128 位安全位数。 • 适用于互联网应用的各种新兴应用的安全保障，如基于云技术的密码服务、电子邮件安全、智能终 端保护、物联网安全、云存储安全等等。这些安全应用可采用手机号码或邮件地址作为公钥，实现 数据加密、身份认证、通话加密、通道加密等。

使用Rust与ClickHouse构建高 效可靠的日志系统 刘炜 腾讯云（专有云） • 自我介绍 • 系统介绍 • 整体架构 • 系统实现 • 遇到问题 大纲 自我介绍 • 大龄码农 • 做过嵌入式/CDN/数据库开发 • 从C/C++到Rust • 现在在腾讯云（专有云）从事日志系统的开发 自我介绍 PhoTto / image / chart 系统介绍 系统介绍 • 属于腾讯专有云PaaS平台(TCS) 静态/动态 • 执行 • 读/写 • 结构 • prediccate • process(&self, streams: Streams) -> Streams • 类型 • 修改原始数据 • 抽取原始数据字段 • Json/LogFmt 计算层 • 大部分计算交给ClickHouse • Aggregation operators • Vector 的计算 • 报警使用 • Binary 移植LevelDB的 WAL • 定长的 Block • Batch 写入 ClickHouse • Flush Worker • 异步任务定时刷新 WAL • 清理策略 • Schema同步 • 转换SQL 存储层 • ClickHouse • 使用Array来保存 Labels • 物化列 • Lowcardinality(Stri ng) • 加速查询 • Skipping