但是消费消息的时候一旦遇到消费消息失败直接放回，根据 ackIndex 来标记 成功消费到哪里了 消费失败， ackIndex 设置为-1 广播模式发送失败的消息丢弃， 广播模式对于失败重试代价过高，对整个集 群性能会有较大影响，失败重试功能交由应用处理 集群模式， 将消费失败的消息一条条的发送到 broker 的重试队列中去，如果 此时还有发送到重试队列发送失败的消息，那就在 cosumer

18 2 个或 3 个可用区。完 成选择 后，请确保“可用区数量”参数 与 您此处的选择是一致的。 2 Number of Availability Zones NumberOfAZs 必填项 要在 VPC 中使用的可用区的数量 (2 个或 3 个)。此数量必须与您 在 Availability Zones 参数中的选 择一致；否则，部署将失败，而 堡垒机实例的 EC2 实 例类型。 14 Number of Bastion Hosts NumBastionHosts 1 堡垒机数量。Auto Scaling 确保 您始终保持此数量的运⾏堡垒机 数量。 RocketMQ Cluster Configuration 15 Number of Apache RocketMQ NameServer 选择部署 Apache RocketMQ Nameserver 节点的数量。 16 Number of Apache RocketMQ Broker Cluster Node BrokerClusterCount 3 选择部署 Apache RocketMQ Broker 节点的数量。 17 IOPS Iops 100 如果您选择的是 io1

逻辑顺序会被保留。此部署使⽤ 2 个或 3 个可⽤区。完 成选择 后，请确保“可⽤区数量”参数 与您此处的选择是⼀致的。 2 Number of Availability Zones NumberOfAZs 必填项 要在 VPC 中使⽤的可⽤区的数 量 (2 个或 3 个)。此数量必须与 您在 Availability Zones 参数中 的选择⼀致；否则，部署将失败 堡垒机实例的 EC2 实 例类型。 14 Number of Bastion Hosts NumBastionHosts 1 堡垒机数量。Auto Scaling 确 保您始终保持此数量的运⾏堡垒 机数量。 RocketMQ Cluster Configuration 15 Number of Apache RocketMQ NameServer 选择部署 Apache RocketMQ Nameserver 节点的数量。 16 Number of Apache RocketMQ Broker Cluster Node BrokerClusterCount 3 选择部署 Apache RocketMQ Broker 节点的数量。 Page 11 of 21 17 IOPS

server是多台集群的话，就用分号分隔 namesrvAddr=192.168.166.20:9876;192.168.166.206:9876 # 每个topic对应队列的数量，默认为4，实际参考consumer实例的数量，值过小不利于consumer负 均衡 defaultTopicQueueNums=8 # 是否允许broker自动创建Topic，生产建议关闭 autoCreateTopicEnable=true server是多台集群的话，就用分号分隔 namesrvAddr=192.168.166.20:9876;192.168.166.206:9876 # 每个topic对应队列的数量，默认为4，实际参考consumer实例的数量，值过小不利于consumer负 均衡 defaultTopicQueueNums=8 # 是否允许broker自动创建Topic，生产建议关闭 autoCreateTopicEnable=true 原文链接：rocketmq 服务部署 namesrvAddr=192.168.166.20:9876;192.168.166.206:9876 # 每个topic对应队列的数量，默认为4，实际参考consumer实例的数量，值过小不利于consumer负 均衡 defaultTopicQueueNums=8 # 是否允许broker自动创建Topic，生产建议关闭 autoCreateTopicEnable=true

2、订单付款 3、订单完成 ORDERID =3001 7.6.2 顺序消息缺陷  収送顺序消息无法利用集群 FailOver 特性  消费顺序消息的幵行度依赖亍队列数量  队列热点问题，个别队列由亍哈希丌均导致消息过多，消费速度跟丌上，产生消息堆积问题  遇到消息失败的消息，无法跳过，当前队列消费暂停 项目开源主页：https://github 消费 2 个队列。 返样即可达到平均消费的目的，可以水平扩展 Consumer 来提高消费能力。但是 Consumer 数量要小亍等亍队列数 量，如果 Consumer 超过队列数量，那举多余的 Consumer 将丌能消费消息。 队列数量 Consumer 数量 Rebalance 结果 5 2 C1: 3 C2: 2 6 3 C1: 2 C2: 2 C3: 订阅关系 messageListener 消息监听器 offsetStore 消费进度存储 consumeThreadMin 10 消费线程池数量 consumeThreadMax 20 消费线程池数量 consumeConcurrentlyMaxSpan 2000 单队列并行消费允许的最大跨度 pullThresholdForQueue 1000 拉消息本地队列缓存消息最大数

true < 22 温馨提示：消息发送者在到默认路由信息时，其队列数量，会选择 DefaultMQProdu cer#defaultTopicQueueNums 与 Nameserver 返回的的队列数取最小值，DefaultMQ Producer#defaultTopicQueueNums 默认值为 4，故自动创建的主题，其队列数量默认 为 4。 Step3：发送消息 DefaultMQP DefaultMQProducerImpl#sendKernelImpl 在消息发送时的请求报文中，设置默认 topic 名称，消息发送 topic 名称，使用的队列 数量为 DefaultMQProducer#defaultTopicQueueNums，即默认为 4。 Step4：Broker 端收到消息后的处理流程 服务端收到消息发送的处理器为：SendMessageProcessor，在处理消息发送时， TopicConfigManager 根据 topic 查询路由信息，如果 Broker 端不存在该主题的路由配置(路由信息),此时如果 Broker 中存在默认主题的路由配 置信息，则根据消息发送请求中的队列数量，在 Broker 创建新 Topic 的路由信息。这样 Broker 服务端就会存在主题的路由信息。 在 Broker 端的 topic 配置管理器中存在的路由信息，一会向 Nameserver

a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 1.4万亿 RocketMQ 多副本高可靠 ZK provides: • Maintain persistent 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 Messaging&Streaming Platform Database changes Log

a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 1.4万亿 RocketMQ 多副本高可靠 ZK provides: • Maintain persistent 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 Messaging&Streaming Platform Database changes Log

场景下，无需保证顺序，可以多个 consumer 加快数据读取速度 你集群是正常的，但我消费就是出问题了，怎么办！？ 无损弹性扩缩 固定分区面临的挑战 • 无切换架构中，主节点宕机，备节点不可写，分区数量减少 • 容量不足，Kafka 分区迁移时，会导致网络风暴，耗时极长 问题重点 • 在主节点宕机时，备节点要有自动切换为主的能力 • 容量调整时，不能产生数据迁移，且要在秒级完成 固定分区使用场景