万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望

Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 ⾼高性能，分布式 • ⾼高并发 • 消息堆积 • Apache顶级项⽬目 发展历史 2013� Open Source Massive accumulation Orderly messaging 2014� Industry Ready 194.2 billion messages transferring in Singles��Day and widely used RemotingCommand • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件 - - - - - 1G - - - - - 6M - - - - - 400M 配置和状态相关 消息存储和检索相关 存储设计 producer

Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar

.................. 5 二：Producer 如何发送消息 ................................................................................................... 6 2.1 producer 发送普通消息 .................................... .......................... 7 2.2 顺序消息发送 ............................................................................................................ 7 2.3 分布式事物消息 ................................... ..................... 9 三：Broker 落地消息 ............................................................................................................. 11 2.1 普通消息落地 ..................................

这个例子，也给数据库云原生化上的技术架构演进提 供了一个范本，并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据，支持高吞吐量实时入库及数据实时查询，实现数据资源 智慧化运营。 优势 低成本存储： 物联网数据存储和查询 将车联网数据、设备监控数据、客流分析管控数据、交通数据、传感器数据实时 写入HBase中，分析结果输出到用户的监控前端系统展示，实现物联网数据的实时 监控分析。 优势 易接入： 轻松对接消息系统、流计算系统 高并发： 满足千万级并发访问 存算分离： 按需分别订购计算与存储，成本低、故障恢复快 利用HTAP模式，可以将查询和分析合并 起来，更加节约成本，并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景，主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力，在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计，基于消息队 列的异步调用能够显著降低前端业务的响应时间，提高吞吐量；基于消息队列还能实现削峰填谷，把慢服务分离到 后置链路，提升整个业务链路的性能。

信创异构 7 云边协同 7 云原生底座 8 模块化搭建 8 容器管理 9 全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 14 镜像仓库 14 云原生网络 15 存储 17 参考文档 18 版权 © 2023 DaoCloud 第 3 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 设置登录、访问权限、外观 可观测性 一站式图形化仪表盘 应用工作台 CI/CD 流水线实现 GitOps 和 DevOps 工作流 多云编排 基于 Karmada 构建多云实例/负载/策略管理 微服务引擎 基于 Nacos/Sentinel/Eureka 等微服务治理中心和网关 服务网格 基于 Istio 定制的增强版网格化治理 版权 © 2023 DaoCloud 第 9 页

KubeBrain 能否使用类似的格式？ 1. 否 2. 底层存储引擎全局有序，有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） Watch 机制本质上是一个消息队列系统 1. 可靠性 - 不重复、不丢失 2. 顺序性 顺序性 - 保证最终状态的一致性 3. 实时性 - 高性能 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 接入层 接入层 客户端 客户端 K8s 元信息存储的需求 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 性能优化 写优化 - 1 降低锁粒度 存储引擎替换 表锁 -> 行锁，增大了写的并发 写优化 - 2 单点写 -> 多点写 multi raft range 分片，增大写并发 Brain 层无磁盘 io，只有网络 io 写优化 - 3

第 第 11 章 章 使用 使用 BARE METAL EVENT RELAY 监 监控裸机事件 控裸机事件 11.1. 关于裸机事件 11.2. 裸机事件的工作方式 11.3. 安装 AMQ 消息传递总线 11.4. 订阅集群节点的 REDFISH BMC 裸机事件 11.5. 将应用程序订阅到裸机事件 REST API 参考 第 第 12 章 章 访问 访问第三方 第三方监 监控 控 UI Prometheus Prometheus 是 OpenShift Container Platform 监控堆 栈所依据的监控系统。Prometheus 是一个时间序列数 据库和用于指标的规则评估引擎。Prometheus 将警报 发送到 Alertmanager 进行处理。 Prometheus Adapter Prometheus Adapter（上图中的 PA）负责转换 Kubernetes 是为用户定义的项目提供监控的监控系 统。Prometheus 将警报发送到 Alertmanager 进行处 理。 Thanos Ruler Thanos Ruler 是 Prometheus 的一个规则评估引擎， 作为一个独立的进程来部署。在 OpenShift Container Platform 4.10 中，Thanos Ruler 为监控用户定义的项 目提供规则和警报评估。 组 组件 件 描述 描述

RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ 开源版本。 诞生 RocketMQ起源于阿里巴巴。阿里巴巴最初由于业务需求，需要使用消息中间件。早期使用过Notify IO模块遇到了瓶颈，几经努力但改善成果不 。这时正值Kafka流行，于是引起了阿里巴巴开发团队的注意，对kafka的无限消息堆积，高效持久化 度等特性非常赞赏。但不幸的是，Kafka不能满足他们的要求，特别是在低延迟和高可靠性方面。在 种情况下，阿里巴巴决定发明一个新的消息传递引擎来处理更广泛的用例集，从传统的发布/订阅方 到大批量实时零损失容忍交易系统。 里程碑 2012年，阿里巴巴开始开发R 2012年，阿里巴巴开始开发RocketMQ，经历了数次双11核心交易链路检验。 2016年11月11日，RocketMQ又一次在阿里巴巴全球购物节上处理了1.2万亿个并发在线消息传输， 后阿里巴巴将RocketMQ捐献给Apache Incubator。 2017年9月25日 – Apache软件基金会，连同350多个开源项目的全体志愿者、开发人员、管理人员 和孵化项目组织，宣布Apache®RocketMQ™从Apac