CnosDB时序数据库的Rust实践 Yongtao Liu CnosDB 研发工程师 Rust China Conf 2023 CnosDB 是一款基于 Rust 开发的 开源的分布式时序数据库 1. CnosDB 架构与选型 2. 为何从 Go 切换到 Rust 3. 使用 Rust 经验分享 4. 反哺社区 1. CnosDB 架构与选型 平衡存储性能与成本 • 查询引擎支持矢量化查询 • 兼容多种时序协议 • 可观测性 • 支持云原生 • 原生支持多租户 • 租户Quota可动态配置 • 云边端协同 • 云上生态融合 整体架构 1.2 存储引擎 version_set Vnode IndexEngine DataEngine cache imcache Vnode Vnode summary process Optimizer Pluggable Scheduler Logical transform Physical transform 1.4基于DataFusion的高性能查询引擎 • 扩展数据源 • 扩展 SQL 语句 • 扩展流处理引擎 • 扩展优化规则 • 扩展时序函数 1.5 分布式 1. Shared nothing 2. Leaderless NRW

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 企业级数据解决方案专家 为建行、工行、交行、招行、上交所、深交所、中国人寿等 70+ 银行证券保险 企业、公安部、上海市公安局、武汉市公安局等 100+ 公安机构，国家电网、 国信通产业集团等电力能源行业提供数据智能产品解决方案及长期服务。 海致专注为政府、金融、能源等客户提供大数据处理、分析、挖掘服务，在互 联网技术基础上，打造专业、易用的企业级大数据实战应用产品及解决方案。 北京中关村总部 北京中关村总部 武汉运维中心 深圳研发中心 上海应用中心 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站

的物联网和时序数据传输及 转换工具 霍琳贺 涛思数据 Rust China Conf 2023 CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine Rust • OOXML - Excel 解析库 • xlsx2csv - Excel 转 CSV 工具 • Unqlite - 单文件非关系型数据库 • 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 • BI 系统接入 https://taosdata.com/ https://github.com/zitsen CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表，  为提升写入和查询效率，要求一个数据采集点一张表  为实现多表聚合，引入超级表概念  子表通过超级表创建，带有标签，通过标签实现多表

王⽂庭 基于边缘架构的可编程MQTT服务 CONTENTS 背景说明 O1 O2 O4 HPMQ简介 HPMQ开发说明 HPMQ未来规划 O3 1. 背景说明 物联⽹时代带来的变化 海量 连⽹ 设备 海量数据处理？ 设备安全性？ 共性：边缘 原来以数据中 ⼼为核⼼的云 端架构是否还 满⾜需求？ 01 02 03 边缘架构 ⼀种分布式计 算架构 构成边缘 计算架构 计算架构 的核⼼ 可在边缘直接对数据进⾏相 关的计算（处理/存储）并提 供相应的查询功能 边缘架构 物联⽹设备的纽带 2. HPMQ 简介 HPMQ是基于Rust语⾔开发的 下⼀代可编程边缘分布式 MQTT软件，主要有以下⼏个 核⼼特性： • Geo-Distributed • 可编程性 • 云边⼀体化 • 兼容异构设备 HPMQ （Hyperconverged Programmable 对WebAssembly⽣态⽀持友好 Why Rust? • 云端架构，我们⽆法根据设备地理位置实现就近通讯 • 只能做到在数据中⼼内相关的分布式扩展，⽆法直接进⾏ 全球节点的扩展 • 复杂的容灾⽅案 为什么需要geo-distributed 传统⽅案存在有问题 解决⽅案 geo-distributed架构 + 调度 如何管理分布式⽹络 我们主要基于eclipse-zenoh来做⼆次开

渲染引擎、 动作物理引擎等 静态表现力 动态表现力 渲染技术 动作物理技术 动作技术 Motion 物理技术 Physics 规则驱动 AI生成 数据驱动 AI加速 云原生架构和 AI 能力 架构特点 性能特点 功能特点 云原生架构 单机架构 动作物理分离 跨平台确定性 动作物理统一 算力动态调配 分布式计算 物理材质统一解算 算法优化 物理材质单独解算 工程优化 性能待优化 和并发安全 语言内建的 async/await，还有优秀的 crates rayon（计算密集型并发支持）和 tokio（IO 密集型并发支持） 为什么选择 Rust Motphys 物理引擎架构 Broad Phase Narrow Phase Candidate Collision Pairs Manifold Build Collision Pairs Collision Detection 高可用和负载均衡 Message的RTT 可测量 Motphys 分布式物理 引擎网络架构 derive serde vs protobuf • 通信协议选型 • protobuf/msgpack/… • 跨语言协议 • 需要额外定义数据结构 • Pure Rust • 我们不需要跨语言 • 复用已有的数据结构 Point/Vector… • derive serde • 可自定义seri

第三届中国Rust开发者大会 Rust 在算法交易中的实际应用 与积极效应 非凸科技首席架构师 乔丹 上海非凸智能科技有限公司（简称“非凸科技”）成 立于2018年，是国内领先的智能算法和交易系统服 务公司，专注于智能算法交易领域的研究和开发。 公司正基于Rust生态，结合机器学习、深度学习等新 兴技术，打造高效率、低延迟、高可靠、全内存高频 交易平台，满足自身在量化行业交易业务的同时也为 内 部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 交易所引擎 Web客户端 下单指令 信息回报 母单/信息上传 统计信息查询等 数据获取 模型训练 信号预测 交易指令 交易指令 1. 低延迟高吞吐的一写多读消息队列 2. 基于共享内存，全用户态，零拷贝(配合 capnproto) 3. 针对 x86_64、AArch64 架构分别优化，CPU Cache 友好 Rust 进程间通信 XSHM Rust 全栈应用实践

Shanghai, China • SM1 是分组加密算法，实现对称加密，分组长度和密钥长度都为 128 位，对长消息进行加解密时， 若消息长度过长，需要进行分组，如果消息长度不足，则要进行填充。 • 保证数据机密性。 • 算法安全保密强度及相关软硬件实现性能与 AES 相当，该算法不公开，仅以 IP 核的形式存在于芯片 中，调用该算法时，需要通过加密芯片的接口进行调用。 • 采用该算法已经研制了系列芯片、智能 • SM2 为椭圆曲线（ECC）公钥加密算法，非对称加密，提 供加解密、数字签名、证书生成、密钥交换功能。由于以上 用例，也常用于区块链或网络安全密码协议，如SSL/TLS、 VPN。 • 保证数据机密性、真实性和完整性。 • SM2 算法和 RSA 算法都是公钥加密算法，SM2 算法是一 种更先进安全的算法，其性能与安全性优于RSA，在我们国 家商用密码体系中被用来替换 RSA 算法。 • • 保证数据机密性、真实性和完整性。 • 在商用密码体系中，SM9 主要用于用户的身份认证，据新华网公开报道，SM9 的加密强度等同于 3072 位密钥的 RSA 加密算法，也就是 128 位安全位数。 • 适用于互联网应用的各种新兴应用的安全保障，如基于云技术的密码服务、电子邮件安全、智能终 端保护、物联网安全、云存储安全等等。这些安全应用可采用手机号码或邮件地址作为公钥，实现 数据加密、身份认证、通话加密、通道加密等。

130+ 办公地点 19 1300+ 员工 提供高效，低成本的数字银行服务 关于我们： Airwallex 从设计架构到实现细节 项目介绍 分布式账务系统 Fintech 互联网 正确性 bug= 资损 bug 不可怕，快速迭代 可靠性 丢数据 = 资损 允许数据丢失 性能 超低延迟 + 高吞吐 超高吞吐 交易日志 审计，监管 调试使用 分布式账务系统 Fintech 领域中的软件与互联网软件的不同 稳定的底层 API ● 灵活的顶层 API ● 树状结构 ● 聚合查询 ● 正确性：内存安全，线程安全 ● 可靠性： Raft 共识算法 raft-rs ● 高性能：关键路径无锁单线程 顶层架构 ● Gateway 路由层 ○ 业务 API 到底层 API 的翻 译 ○ 产生转账计划 ● Marker 事务层 ○ 使用业务 id 进行路由 ○ 执行转账计划 ○ 分发账户变动请求 C++ 背景的同事 ● 学习《 rust 程序设计》 ● 1-3 月可以熟练转型使用 Rust Rust 与原有技术栈的融合 ● Kotlin ： 偏业务，适合快速迭代 ● Rust ：偏基础架构，适合精心打磨 ● gRPC ：跨语言跨平台通讯 心路历程 真刀实枪 – 开发调试部署 IDE JetBrains + Rust 插件 Gitlab CI/CD 心路历程 真刀实枪 –

第三届中国Rust开发者大会 使用Rust与ClickHouse构建高 效可靠的日志系统 刘炜 腾讯云（专有云） • 自我介绍 • 系统介绍 • 整体架构 • 系统实现 • 遇到问题 大纲 自我介绍 • 大龄码农 • 做过嵌入式/CDN/数据库开发 • 从C/C++到Rust • 现在在腾讯云（专有云）从事日志系统的开发 自我介绍 PhoTto / image / chart 系统介绍 • Mencius • 200M左右 • ClickHouse • 2G以下 • 接入端 • API Gateway • 日志服务(Mencius) • 存储(ClickHouse) 整体架构 • 协议层 • 处理层 • 计算层 • 存储层 系统实现 协议层 • 支持协议 • Loki • 写入 • Json/ProtoBuf • 查询 • LogQL • Log Queries 静态/动态 • 执行 • 读/写 • 结构 • prediccate • process(&self, streams: Streams) -> Streams • 类型 • 修改原始数据 • 抽取原始数据字段 • Json/LogFmt 计算层 • 大部分计算交给ClickHouse • Aggregation operators • Vector 的计算 • 报警使用 • Binary

. . . 128 23.2 函数调用中的生命周期 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 23.3 数据结构中的生命周期 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 23.4 练习：Protobuf 解析 . . 是一门新的编程语言，它的 1.0 版本于 2015 年发布： • Rust 是一门静态编译语言，其功能定位与 C++ 相似 – rustc 使用 LLVM 作为它的后端。 • Rust 支持多种平台和架构: – x86、ARM、WebAssembly...... – Linux、Mac、Windows...... • Rust 被广泛用于各种设备中： – 固件和引导程序， – 智能显示器， – 内存安全：在编译时可防止所有类内存 bug – 不存在未初始化的变量。 – 不存在“双重释放”。 – 不存在“释放后使用”。 – 不存在 NULL 指针。 – 不存在被遗忘的互斥锁。 – 不存在线程之间的数据竞争。 – 不存在迭代器失效。 • 没有未定 的运行 行 ：每个 Rust 语句的行为都有明确定义 – 数组访问有边界检查。 – 整数溢出有明确定义（panic 或回绕）。 • 代 言功能：具有与高级语言一样丰富且人性化的表达能力