版本后引入了多副本机制，即一个复制组（m-s）可以演变为基 于 raft 协议的复制组，复制组内部使用 raft 协议保证 broker 节点数据的强一致性，该部署 架构在金融行业用的比较多。 二、消息订阅模型 在 RocketMQ 的消息消费模式采用的是发布与订阅模式。 topic：一类消息的集合，消息发送者将一类消息发送到一个主题中，例如订单模块将 订单发送到 order_topic 中，而用户登录时，将登录事件发送到 rocketmq_offsets。 4. 消费模型 RocketMQ 提供了并发消费、顺序消费两种消费模型。 并发消费：对一个队列中消息，每一个消费者内部都会创建一个线程池，对队列中的消 息多线程处理，即偏移量大的消息比偏移量小的消息有可能先消费。 顺序消费：在某一项场景，例如 MySQL binlog 场景，需要消息按顺序进行消费。在 RocketMQ 中提供了基于队列的顺序消费模型，即尽管一个消费组中的消费者会创建一个 费者会创建一个 多线程，但针对同一个 Queue，会加锁。 温馨提示：并发消费模型中，消息消费失败默认会重试 16 次，每一次的间隔时间不一 样；而顺序消费，如果一条消息消费失败，则会一直消费，直到消费成功。故在顺序消费的 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 1.1 RocketMQ 核心概念扫盲篇 < 16 使用过程中，应用程序需要区分系统异常、业务异常，如果是不符合业务规则导致的异常，

storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ConsumerGroupB Consumer 1 Consumer Producer B Consumer 1 Consumer 2 MessageQueue1 MessageQueue2 MessageQueue1 MessageQueue2 部署模型 组件细节 Broker Netty RemotingServer Netty Remoting Client NameServer All Info In Memory except KV RocketMQ 存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面

CORBA Notification 规范中，无此消费方式。 在 JMS 规范中，JMS point-to-point model 不乀类似，但是 RocketMQ 的集群消费功能大等亍 PTP 模型。 因为 RocketMQ 单个 Consumer Group 内的消费者类似亍 PTP，但是一个 Topic/Queue 可以被多个 Consumer Group 消费。  顺序消息 TOPIC_A TOPIC_B Producer Producer Consumer Consumer Consumer 图表 5-1 RocketMQ 是什么  是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。  Producer、Consumer、队列都可以分布式。  Producer 吐一些队列轮流収送消息，队列集合称为 Topic，Consumer Offset、Size、TagsCode 消息索引服务 （存储消息Key与消息在CommitLog 中的Offset对应关系） 事务状态服务 （存储每条事务消息的状态） 定时消息服务 （管理需要定时投递的消息） Offset、Key Offset、State(P/C/R) Offset、Delaylevel 项目开源主页：https://github.com/alibaba/RocketMQ

Incubator。 2017年9月25日 – Apache软件基金会，连同350多个开源项目的全体志愿者、开发人员、管理人员 和孵化项目组织，宣布Apache®RocketMQ™从Apache孵化器毕业成为顶级项目，这表明该项目的 区和产品已根据ASF的精英流程和原则得到了很好的管理。 现今，Apache RocketMQ在社区各方面的努力下，茁壮发展，很多功能都得到了加强。 RocketMQ的技术概览 现和路由功能，每个NameServer存有全量的路由信息，提 对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。

Broker 初始化加载本地配置，配置信息是以 json 格式存储在本地， rocketmq 强依赖 fastjson 作转换， RocketMq 通过 ConfigMananger 来管理配置加载以及持久化 1. 加载 topic 配置${user.home}/store/config/topics.json { "dataVersion":{ "counter":2 消费队列中 (3) 按消费端 group 分组死信队列，如果消费端重试超过指定次数，发送死信队列 (4) 每个 ConsumeQueue 可以由多个文件组成无限队列被 MapedFileQueue 对象管理 2） CommitLog 消息存放物理文件，每台 broker 上的 commitLog 被本机器所有 queue 共享不 做区分 文件地址：${user.home} \ 组成一个逻辑上连续的队 列 d) 加载事物模块 e) 加载存储检查点 加载${user.home} \store\checkpoint 这个文件存储了 3 个 long 类型的值来记录存储 模型最终一致的时间点，这个 3 个 long 的值为 physicMsgTimestamp 为 commitLog 最后刷盘的时间 logicMsgTimestamp 为 consumeQueue 最终刷盘的时间

可观测性能力云原生化，OpenTelemetry 标准化 • Kubernetes 一键式部署扩容交付 W r i t e h e r e S o m e t h i n g Ab o u t 全新 POP 消费模型 服务端负载均衡  消除 Consumer 与 Queue 的 Binding 关 系，一个 Queue 可以由多个消费者消费  无 rebalance ，降低消费延迟概率  集群中某些消费端假死不影响整体消费进度

的需求，我们开发了一键部署的方案，帮助客户快速的在自己的账号 部署一个基于 EC2 的高可用的 RocketMQ 集群。 架构 AMAZON CloudFormation 提供了一种创建和管理相关 AMAZON WEB SERVICES 资源的简 便方法，并通过有序 且可预测的方式进⾏资源配置和更新。本快速⼊⻔提供两种部署 选项，一种是将 Apache RocketMQ 部署到新 VPC SERVICES（宁夏）区域 或由光环新网运营的 AMAZON WEB SERVICES（北京）区域中部署该解决方案，您可以 使用以下链接快速启动一个 AMAZON CloudFormation 堆栈来部署和管理整个方案： 启动 AMAZON CloudFormation 堆栈 单击以下按钮，在相应区域的控制台部署 AMAZON CloudFormation 模板。 Page 7 of

的需求，我们开发了一键部署的方案，帮助客户快速的在自己的账号部署 一个基于 EC2 的高可用的 RocketMQ 集群。 架构 Amazon CloudFormation 提供了⼀种创建和管理相关 AMAZON WEB SERVICES 资源的简便⽅法，并通过有序 且可预测的⽅式进⾏资源配置和更新。本快速⼊⻔提供 两种部署选项，⼀种是将 Apache RocketMQ 部署到新 VPC 本文的步骤主要针对在运行在由西云数据运营的亚马逊云科技（宁夏）区域或由光环 新网运营的亚马逊云科技（北京）区域中部署该解决方案，您可以使用以下链接快速 启动一个 Amazon CloudFormation 堆栈来部署和管理整个方案： 启动 Amazon CloudFormation 堆栈 单击以下按钮，在相应区域的控制台部署 Amazon CloudFormation 模板。 选项 1 部署 Apache