1.2 生产环境中，autoCreateTopicEnable 为什么不能设置为 true 18 1.3 实战：RocketMQ 学习环境搭建指南篇 28 1.4 RocketMQ HA 核心工作机制 39 1.5 踩坑记：rocketmq-console 消费 TPS 为 0，但消息积压数却在降低是个什么 “鬼” 49 1.6 RocketMQ 一个新的消费组初次启动时从何处开始消费呢？ 64 有了新的称号，那就得更加努力，朝着优秀努力，在 2019 年我又陆续发表了 20 几篇 关于 RocketMQ 相关的文章，这些文章含金量极高，不仅及时跟进了 RocketMQ4.3.0 之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指 出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于 20 19 年 RocketMQ 官方社区授予我优秀布道师荣誉称号。 RocketMQ 的路由信息，持久化 Topic 路由信息 的地方是在 Broker 中，即${ ROCKETMQ_HOME}/store/config/topics.json。 在 RocketMQ4.5.0 版本后引入了多副本机制，即一个复制组（m-s）可以演变为基 于 raft 协议的复制组，复制组内部使用 raft 协议保证 broker 节点数据的强一致性，该部署 架构在金融行业用的比较多。 二、消息订阅模型 在

group）定时发送到， brokerAddrTable 集合中列出的 broker 上去 Producer 发送消息只发送到 master 的 broker 机器，在通过 broker 的主从复制机制拷贝到 broker 的 slave 上去 二：Producer 如何发送消息 Producer 轮询某 topic 下的所有队列的方式来实现发送方的负载均衡 定时向所有 broker 发送心跳信息，（包括订阅关系） 定时持久化 Consumer 消费进度（广播存储到本地，集群存储到 Broker） 统计信息打点 动态调整消费线程池 启动拉消息服务 PullMessageService 启动消费端负载均衡服务 RebalanceService 从 namesrv 更新 topic 路由信息

之后需要在浏览器中设置 proxy，浏览器有很多自动选择 Proxy 的插件，本文使用 SwitchyOmega 作为例⼦。 3. 安装 SwitchyOmega 浏览器插件，Edge 浏览器请访问这个链接，Firefox 浏览器 访问这个链接，Chrome 浏览器访问这个链接。 4. 安装好 SwitchyOmega 插件之后，打开插件的选项页, 点击左边的“+New Profile”，如下图所⽰ Apply changes，注意 Port 对应的值需要设置为您建立 ssh tunnel 的本地端⼝，见第一步的-D 参数后 面的那个数字，如下图： 7. 点击 SwitchyOmega 插件并选择刚刚创建的 RocketMQ profile，如下图 Page 16 of 18 8. 完成了上面这步之后，浏览器就会将所有的流量通过本地的 40011 端⼝

之后需要在浏览器中设置 proxy，浏览器有很多自动选择 Proxy 的插件，本文使用 SwitchyOmega 作为例子。 3. 安装 SwitchyOmega 浏览器插件，Edge 浏览器请访问这个链接，Firefox 浏 览器访问这个链接，Chrome 浏览器访问这个链接。 4. 安装好 SwitchyOmega 插件之后，打开插件的选项页, 点击左边的“+New Profile”，如下图所示 Apply changes， 注意 Port 对应的值需要设置为您建立 ssh tunnel 的本地端口，见第一步的-D 参数后面的那个数字，如下图： 7. 点击 SwitchyOmega 插件并选择刚刚创建的 RocketMQ profile，如下图 Page 19 of 21 8. 完成了上面这步之后，浏览器就会将所有的流量通过本地的 40011 端口

a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起） 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 在线熔断机制 ①消息服务器 ②消息服务器 ③消息服务器 ④消息服务器 应用 规则 1. 最多只能隔离 30%的机器。 2. 响应时间过长， 开始隔离1分钟 3

a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起） 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 在线熔断机制 ①消息服务器 ②消息服务器 ③消息服务器 ④消息服务器 应用 规则 1. 最多只能隔离 30%的机器。 2. 响应时间过长， 开始隔离1分钟 3

在吐 Consumer 投递成功消息后，消息仍然需要保留。幵丏重新消费一般是挄照时间维度，例如由亍 Consumer 系统故障， 恢复后需要重新消费 1 小时前的数据，那举 Broker 要提供一种机制，可以挄照时间维度来回退消费迕度。 RocketMQ 支持挄照时间回溯消费，时间维度精确到毫秒，可以吐前回溯，也可以吐后回溯。 4.12 消息堆积 消息中间件的主要功能是异步解耦，迓有个 可避免的产生巨大性能开销。 RocketMQ 支持定时消息，但是丌支持任意时间精度，支持特定的 level，例如定时 5s，10s，1m 等。 4.15 消息重试 Consumer 消费消息失败后，要提供一种重试机制，令消息再消费一次。Consumer 消费消息失败通常可以讣为 有以下几种情冴 1. 由亍消息本身的原因，例如反序列化失败，消息数据本身无法处理（例如话费充值，当前消息的手机号被 项目开源主页：https://github com/alibaba/RocketMQ 10 注销，无法充值）等。 返种错诨通常需要跳过返条消息，再消费其他消息，而返条失败的消息即使立刻重试消费，99%也丌成功， 所以最好提供一种定时重试机制，即过 10s 秒后再重试。 2. 由亍依赖的下游应用服务丌可用，例如 db 连接丌可用，外系统网络丌可达等。 遇到返种错诨，即使跳过当前失败的消息，消费其他消息同样也会报错。返种情冴建议应用

ameServer存有全量的路由信息，提 对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。 Producer通过多种负载均衡模式发送到Broker集群，发送 延时，支持快速失败。 Consumer也由用户部署，支持PUSH和PULL两种消费模式，支持集群消费和广播消息，提供实时的 息订阅机制，满足大多数消费场景。 特点 ● RocketMQ支持异步实时刷盘，同步刷盘，同步复制，异步复制。具有高可靠性。不会因为操作系 的崩溃而导致数据丢失。 ● RocketMQ经过一系列的实践和优化，处理速度从最初的10

message 先执⾏行行本地事务还是先发送消息？ 交易易型分布式事务的 RocketMQ使⽤用场景 分布式事务解决⽅方案 半消息 远程事务 特点： 1. 稳定，⽀支持⾼高并发 2. 回查机制可靠易易⽤用 3. 不不引⼊入额外的依赖 注意：回查⽅方法需要幂等 Broker 实现细节 Producer with PID TransactionListener executeLocalTransaction()

容量峰值具有随机性，弹性要求高 • 业务场景复杂、集成要求尽可能简单 • 运维及流量调拨要求高 极简架构 高性能 金融级高可靠 打造业务消息领域首选 零依赖 可扩展 低延迟 高吞吐 强同步刷盘 ACK 机制 普通消息 顺序消息 延迟消息 事务消息 重试消息 死信消息 设计思想： 1.消息不丢、高可靠是架构的基础 2.时延优先，兼顾吞吐 3.收敛业务共性问题，提供丰富的业务消息类型 4.注重可运维性、弹性扩缩、流量调拨能力建设