基于边缘架构的可编程MQTT服务 CONTENTS 背景说明 O1 O2 O4 HPMQ简介 HPMQ开发说明 HPMQ未来规划 O3 1. 背景说明 物联⽹时代带来的变化 海量 连⽹ 设备 海量数据处理？ 设备安全性？ 共性：边缘 原来以数据中 ⼼为核⼼的云 端架构是否还 满⾜需求？ 01 02 03 边缘架构 ⼀种分布式计 算架构 构成边缘 计算架构 计算架构 的核⼼ 可在边缘直接对数据进⾏相 关的计算（处理/存储）并提 供相应的查询功能 边缘架构 物联⽹设备的纽带 2. HPMQ 简介 HPMQ是基于Rust语⾔开发的 下⼀代可编程边缘分布式 MQTT软件，主要有以下⼏个 核⼼特性： • Geo-Distributed • 可编程性 • 云边⼀体化 • 兼容异构设备 HPMQ （Hyperconverged Programmable 如何管理分布式⽹络 我们主要基于eclipse-zenoh来做⼆次开 发，eclipse-zenoh是⼀款很优秀的rust 语⾔编写的，基于边缘架构的，开源分 布式消息服务基础架构，它帮我们解决 了很多分布式⽹络管理的共同的问题， ⽐如说分布式消息⼀致性问题，边缘节 点⾃动发现等问题 传统⽅案痛点 1）数据传输量⼤，中⼼压⼒⼤，⾼可⽤要求⾼ 2）数据发布与订阅都在中⼼，延迟⾼

——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 计算机的出现给世界带来了巨大变革，它凭借高速的计算能力和出色的可编程性，成为了执行算法与处理数 据的理想媒介。无论是电子游戏的逼真画面、自动驾驶的智能决策，还是 AlphaGo 的精彩棋局、ChatGPT 的自然交互，这些应用都是算法在计算机上的精妙演绎。 妙演绎。 事实上，在计算机问世之前，算法和数据结构就已经存在于世界的各个角落。早期的算法相对简单，例如古 代的计数方法和工具制作步骤等。随着文明的进步，算法逐渐变得更加精细和复杂。从巧夺天工的匠人技艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小 案。从数据结构与算法的角度看，这种方法本质上是“贪心”算法。 小到烹饪一道菜，大到星际航行，几乎所有问题的解决都离不开算法。计算机的出现使得我们能够通过编程 将数据结构存储在内存中，同时编写代码调用 CPU 和 GPU 执行算法。这样一来，我们就能把生活中的问题 转移到计算机上，以更高效的方式解决各种复杂问题。 Tip 如果你对数据结构、算法、数组和二分查找等概念仍感到一知半解，请继续往下阅读，本书将引导你

——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 计算机的出现给世界带来了巨大变革，它凭借高速的计算能力和出色的可编程性，成为了执行算法与处理数 据的理想媒介。无论是电子游戏的逼真画面、自动驾驶的智能决策，还是 AlphaGo 的精彩棋局、ChatGPT 的自然交互，这些应用都是算法在计算机上的精妙演绎。 妙演绎。 事实上，在计算机问世之前，算法和数据结构就已经存在于世界的各个角落。早期的算法相对简单，例如古 代的计数方法和工具制作步骤等。随着文明的进步，算法逐渐变得更加精细和复杂。从巧夺天工的匠人技艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小 案。从数据结构与算法的角度看，这种方法本质上是“贪心”算法。 小到烹饪一道菜，大到星际航行，几乎所有问题的解决都离不开算法。计算机的出现使得我们能够通过编程 将数据结构存储在内存中，同时编写代码调用 CPU 和 GPU 执行算法。这样一来，我们就能把生活中的问题 转移到计算机上，以更高效的方式解决各种复杂问题。 Tip 如果你对数据结构、算法、数组和二分查找等概念仍感到一知半解，请继续往下阅读，本书将引导你

展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 i 目 录 第 0 章 前言 1 0.1 关于本书 . 案。从数据结构与算法的角度看，这种方法本质上是“贪心”算法。 小到烹饪一道菜，大到星际航行，几乎所有问题的解决都离不开算法。计算机的出现使得我们能够通过编程 将数据结构存储在内存中，同时编写代码调用 CPU 和 GPU 执行算法。这样一来，我们就能把生活中的问题 转移到计算机上，以更高效的方式解决各种复杂问题。 � 如果你对数据结构、算法、数组和二分查找等概念仍感到一知半解，请继续往下阅读，本书将 具有可行性，能够在有限步骤、时间和内存空间下完成。 ‧ 各步骤都有确定的含义，在相同的输入和运行条件下，输出始终相同。 1.2.2 数据结构定义 「数据结构 data structure」是计算机中组织和存储数据的方式，具有以下设计目标。 ‧ 空间占用尽量少，以节省计算机内存。 第 1 章 初识算法 hello‑algo.com 14 ‧ 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 ‧ 提供简洁的数据表示和逻辑信息，以便算法高效运行。

专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 企业级数据解决方案专家 为建行、工行、交行、招行、上交所、深交所、中国人寿等 70+ 银行证券保险 企业、公安部、上海市公安局、武汉市公安局等 100+ 公安机构，国家电网、 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 科学技术奖被认为是计算机科学与技术领域最具影响力的专业奖项之一， 其中科技进步卓越奖是

Cargo.lock 文件，我们现在可以在 guessing_game 目录找到它。 当第一次构建项目时，Cargo 计算出所有符合要求的依赖版本并写入 Cargo.lock 文件。当将 来构建项目时，Cargo 会发现 Cargo.lock 已存在并使用其中指定的版本，而不是再次计算所 有的版本。这使得你拥有了一个自动化的可重现构建（reproducible build）。换句话说，项目 会持续使用 其余代码一样提交到版本控制系统中。 更新 crate 到一个新版本 当你 确实 需要升级 crate 时，Cargo 提供了这样一个命令，update，它会忽略 Cargo.lock 文 件，并计算出所有符合 Cargo.toml 声明的最新版本。Cargo 接下来会把这些版本写入 Cargo.lock 文件。不过，Cargo 默认只会寻找大于 0.8.5 而小于 0.9.0 的版本。如果 rand 最后一个区别是，常量只能被设置为常量表达式，而不可以是其他任何只能在运行时计算出的 值。 下面是一个声明常量的例子： const THREE_HOURS_IN_SECONDS: u32 = 60 * 60 * 3; 常量的名称是 THREE_HOURS_IN_SECONDS，它的值被设置为 60（一分钟内的秒数）乘以 60（一 小时内的分钟数）再乘以 3（我们在这个程序中要计算的小时数）的结果。Rust 对常量的命名 40/562Rust

从Loki=>Menicus • 提供日志的搜索/报警/处理等功能 系统介绍 • 为什么放弃 Loki • 资源占用过大 • 统计/计算能力比较弱 • 组件过多，排查问题比较困难 • 商业使用不友好的开源协议 • 为什么选择Mencius+ClickHouse • 存储计算与业务分离 • 计算/统计能力更强 • 资源占用更小，性能更好 • 更友好的开源协议 系统介绍 • 多种接入方式 • Agent 存储(ClickHouse) 整体架构 • 协议层 • 处理层 • 计算层 • 存储层 系统实现 协议层 • 支持协议 • Loki • 写入 • Json/ProtoBuf • 查询 • LogQL • Log Queries • Metric Queries • OpenTSDB • 统计/计算 协议层 • Parser • 手写 • 为什么？ • LogQL=>Token=>AST=>SQL streams: Streams) -> Streams • 类型 • 修改原始数据 • 抽取原始数据字段 • Json/LogFmt 计算层 • 大部分计算交给ClickHouse • Aggregation operators • Vector 的计算 • 报警使用 • Binary operator • >, == … • Vector matching • 匹配两个Vector

动作物理分离 跨平台确定性 动作物理统一 算力动态调配 分布式计算 物理材质统一解算 算法优化 物理材质单独解算 工程优化 性能待优化 AI仿真加速 前沿动作功能 缺乏动作功能 AI动作生成 优秀的易用性和适配性 缺乏AI能力 保证每个目标平台的极致性能 跨端确定性 – 保证所有目标平台计算结 果完全一致 具备分布式能力 – 通过横向扩展突破单 机物理算力的上限 Cargo 真的比 cmake 好太多了 # 依赖管理 # 无惧并发 Rust 在语法层面极大程度保证了内存安全 和并发安全 语言内建的 async/await，还有优秀的 crates rayon（计算密集型并发支持）和 tokio（IO 密集型并发支持） 为什么选择 Rust Motphys 物理引擎架构 Broad Phase Narrow Phase Candidate Collision 充分利用目标平台指令集 – 大量的针对目标平台的SIMD优化 • 数学计算本质上是类似的 – 大量的相似代码 • Portable SIMD unstable • 影响跨端确定性的因素太多了 motphys-math 为高性能物理引擎量 身定制 增加了 AoSoA 类型， 并做了大量 SIMD 优化 增加了跨端确定性模 式 保证所有设备浮点计算结果 完全一致 性能超越目前开源的 Rust基础数学库

Cargo.lock 文件，我们现在可以在 guessing_game 目录找到它。 当第一次构建项目时，Cargo 计算出所有符合要求的依赖版本并写入 Cargo.lock 文件。当将 来构建项目时，Cargo 会发现 Cargo.lock 已存在并使用其中指定的版本，而不是再次计算所 有的版本。这使得你拥有了一个自动化的可重现的构建。换句话说，项目会持续使用 0.8.5 直到你显式升级，多亏有了 要，因此它通常会和项目中的其余代码一样纳入到版本控制系统中。 更新 crate 到一个新版本 当你 确实 需要升级 crate 时，Cargo 提供了这样一个命令，update ，它会忽略 Cargo.lock 文 件，并计算出所有符合 Cargo.toml 声明的最新版本。Cargo 接下来会把这些版本写入 Cargo.lock 文件。不过，Cargo 默认只会寻找大于 0.8.5 而小于 0.9.0 的版本。如果 文件： [dependencies] rand = "0.9.0" 下一次运行 cargo build 时，Cargo 会从 registry 更新可用的 crate，并根据你指定的新版本 重新计算。 第十四章会讲到 Cargo 及其生态系统 的更多内容，不过目前你只需要了解这么多。通过 Cargo 复用库文件非常容易，因此 Rustacean 能够编写出由很多包组装而成的更轻巧的项目。 生成一个随机数

通常来说，通过加密方式，对于信息的传输，我们希望达成以下五个目标： • 不同的攻击方式可能针对于不同的目标进行攻击。比如DoS（拒绝服务Denial of Service） 攻击就是针对可获性进行的攻击，使计算机或网络无法提供正常的服务。 机密性（Confidentiality） 保证信息私密性和保密性 真实性（Authentication） 确保信息来自正确身份的对象 完整性（Integrity） ECC加解密，签名验 签，密钥交换 非对称 加密 128 ECC 是 TLCP、区块链等场景，用于签名 验签等 Sm3 GM/T 0004-2012 ISO/IEC 10118-3:2018 计算密码杂凑 哈希 256 SHA256 是 TLCP、数字签名及验证、消息认 证码生成及验证、随机数生成、 密钥扩充 Sm4 GM/T 0002-2012 ISO/IEC WD1 18033- 址作为公钥， 实现数据加密、身份认证、通话加密、通道加密等安全应用，并具有使用方便，易于部署 的特点。 • 不同于传统签名算法的由用户随机选择私钥然后 计算得到公钥的方式，SM9 能够实现用户指定公 钥（即身份标识），密钥生成中心通过公钥计算 私钥。 SM9 Introduction of SM9 Rust China Conf 2022 – 2023, Shanghai, China SM9