RocketMQ 的消息消费模式采用的是发布与订阅模式。 topic：一类消息的集合，消息发送者将一类消息发送到一个主题中，例如订单模块将 订单发送到 order_topic 中，而用户登录时，将登录事件发送到 user_login_topic 中。 consumegroup：消息消费组，一个消费单位的“群体”，消费组首先在启动时需要 订阅需要消费的 topic。一个 topic 可以被多个消费组订阅，同样一个消费组也可以订阅多 进程可以看做是消费组 order_consumer 消费组的其中一个消费者。 1. 消费模式 那这三个消费者如何来分工来共同消费 order_topic 中的消息呢？ 在 RocketMQ 中支持广播模式与集群模式。 广播模式：一个消费组内的所有消费者每一个都会处理 topic 中的每一条消息，通常用 于刷新内存缓存。 集群模式：一个消费组内的所有消费者共同消费一个 topic 中的消息，即分工协作，一 分配算法的队列负载机制如下： c0：q0 q1 q2 q3 q4 q5 c1: q6 q7 q8 q9 q10 c2: q11 q12 q13 q14 q15 其算法的特点是用总数除以消费者个数，余数按消费者顺序分配给消费者，故 c0 会多 分配一个队列，而且队列分配是连续的。 AllocateMessageQueueAveragelyByCircle 分配算法的队列负载机制如下： c0：q0

2.2 顺序消息发送 Rocketmq 能够保证消息严格顺序，但是 Rocketmq 需要 producer 保证顺序消息按顺序发 送到同一个 queue 中， 比如购买流程(1)下单(2)支付(3)支付成功，这三个消息需要根据 特定规则将这个三个消息按顺序发送到一个 queue 如何实现把顺序消息发送到同一个 queue: 一般消息是通过轮询所有队列发送的，顺序消息可以根据业务比如说订单号 Queue=0 组 成一个 ConsumeQueue, TopicA 和 Queue=1 组成一个另一个 ConsumeQueue. (2) 按消费端 group 分组重试队列， 如果消费端消费失败，发送到 retry 消费队列中 (3) 按消费端 group 分组死信队列，如果消费端重试超过指定次数，发送死信队列 (4) 每个 ConsumeQueue 可以由多个文件组成无限队列被 MapedFileQueue commitLog 其实调用存储消费队列 mapedFileQueue.load()方法来加载的。 遍历出${user.home} \store\${commitlog}目录下所有 commitLog 文件，按文件名（文 件名就是文件的初始偏移量）升序排一下， 每个文件构建一个 MapedFile 对象, 在 MapedFileQueue 中用集合 list 把这些 MapedFile 文件组成一个逻辑上连续的队列

Trading Aliw a reM Q Ap a che In cuba tin g 分布式事务消息 原生消息轨迹，AC L 支持 存储架构全面升级，RAFT 存储开源 轻量级Pull con sum er 发布 Request-Rep ly 特性支持 IPv 6 支持 © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 + RocketMQ 发展历程 W r i t e h e r e S o m e t h i n g a gRPC MQTT AMQP AC L 消息 事件 Subscription 多租户 Store Store Store Store Store Store 存储集群 高可用架构升级： • 秒级故障转移，多场景容灾支持 • 无外部依赖，节点间松散耦合 • 自建及云上异构 IaaS 基础设施支持，降低成本 轻量级SDK： • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop

...................................................................................... 16 7.1 单机支持 1 万以上持丽化队列 ....................................................................................... 息兇投递，如果消息完全在一个内存队列中，那举在投递前可以挄照优兇级排序，令优兇级高的兇投递。 由亍 RocketMQ 所有消息都是持丽化的，所以如果挄照优兇级来排序，开销会非常大，因此 RocketMQ 没有特 意支持消息优兇级，但是可以通过发通的方式实现类似功能，即单独配置一个优兇级高的队列，和一个普通优兇级 的队列， 将丌同优兇级収送到丌同队列即可。 对亍优兇级问题，可以归纳为 2 类 1) 只要 的负担，实现相对复杂。 (1). 淘宝 Notify 支持多种过滤方式，包含直接挄照消息类型过滤，灵活的诧法表达式过滤，几乎可以满足 最苛刻的过滤需求。 (2). 淘宝 RocketMQ 支持挄照简单的 Message Tag 过滤，也支持挄照 Message Header、body 迕行过滤。 (3). CORBA Notification 规范中也支持灵活的诧法表达式过滤。  Consumer

4.0) Apache RocketMQ 介绍 概要 Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ 开源版本。 诞生 RocketMQ起源于阿 RocketMQ 介绍 NameServer以轻量级的方式提供服务发现和路由功能，每个NameServer存有全量的路由信息，提 对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提 Producer由用户进行分布式部署，消息由Producer通过多种负载均衡模式发送到Broker集群，发送 延时，支持快速失败。 Consumer也由用户部署，支持PUSH和PULL两种消费模式，支持集群消费和广播消息，提供实时的 息订阅机制，满足大多数消费场景。 特点 ● RocketMQ支持异步实时刷盘，同步刷盘，同步复制，异步复制。具有高可靠性。不会因为操作系 的崩溃而导致数据丢失。 ● R

两阶段提交 2. 仅商业化数据库⽀支持 3. ⽆无法满⾜足⾼高并发场景 分布式事务解决⽅方案 SAGA 特点： 1. 提交+补偿 2. 并发隔离性很难保证 分布式事务解决⽅方案 TCC 特点： 1. 特殊的两阶段提交 2. Try阶段检查/锁定资源 没有真正提交 3. 增加了了⼀一个状态处理理，开发变复杂 4. CC需要幂等，能够⽀支持重试 5. 如果CC重试不不成功/超时，需要⼿手⼯工⼲干预 message Receive message 先执⾏行行本地事务还是先发送消息？ 交易易型分布式事务的 RocketMQ使⽤用场景 分布式事务解决⽅方案 半消息 远程事务 特点： 1. 稳定，⽀支持⾼高并发 2. 回查机制可靠易易⽤用 3. 不不引⼊入额外的依赖 注意：回查⽅方法需要幂等 Broker 实现细节 Producer with PID TransactionListener

IOPS，否则此选 项将被忽略。 18 RocketMQ Version RocketMQVersion 4.7.1 选择部署的 Apache RocketMQ 的 软件版本，目前支持 4.7.1 和 4.8.0 19 NameServer Intance type NameServerInstanceType m5.large Nameserver 节点的 节点的 EC2 Instance 的类 型 12 FlushDiskType FlushDiskType ASYNC_FLUSH Apache RocketMQ 的刷盘方式， 支持 ASYNC_FLUSH 和 SYNC_FLUSH 13 Iops Iops 100 如果您选择的是 io1 卷 类型，此 设置为 EBS 卷的 IOPS，否则此选 项将被忽略。 Nameserver 节点的 EC2 实例类 型 16 RocketMQVersi on RocketMQVersion 4.7.1 选择部署的 Apache RocketMQ 的 软件版本，目前支持 4.7.1 和 4.8.0 17 VolumeSize VolumeSize 400 要挂载到 RocketMQ 所有 节点的 Amazon EBS ( 数据) 卷的⼤⼩ (以

IOPS，否则此 选项将被忽略。 18 RocketMQ Version RocketMQVersion 4.7.1 选择部署的 Apache RocketMQ 的软件版本，目前 支持 4.7.1，4.8.0 和 5.1.1 19 NameServer Intance type NameServerInstanceTy pe m5.large Nameserver EC2 Instance 的 类型 12 FlushDiskTyp e FlushDiskType ASYNC_FLUS H Apache RocketMQ 的刷盘方 式，支持 ASYNC_FLUSH 和 SYNC_FLUSH 13 Iops Iops 100 如果您选择的是 io1 卷 类型， 此设置为 EBS 卷的 IOPS，否则 此选 项将被忽略。 节点的 EC2 实例 类型 16 RocketMQVe rsion RocketMQVersion 4.7.1 选择部署的 Apache RocketMQ 的软件版本，目前 支持 4.7.1，4.8.0 和 5.1.1 Page 14 of 21 17 VolumeSize VolumeSize 400 要挂载到 RocketMQ 所有

RocketMQ开源 Apache RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战

RocketMQ开源 Apache RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战