..................................................................................... 39 4.3 HA 异步复制 .................................................................................................. group）定时发送到， brokerAddrTable 集合中列出的 broker 上去 Producer 发送消息只发送到 master 的 broker 机器，在通过 broker 的主从复制机制拷贝到 broker 的 slave 上去 二：Producer 如何发送消息 Producer 轮询某 topic 下的所有队列的方式来实现发送方的负载均衡 一：consumer 启动流程 指定 group 订阅 topic 注册消息监听处理器，当消息到来时消费消息 消费端 Start 复制订阅关系 初始化 rebalance 变量 构建 offsetStore 消费进度存储对象 启动消费消息服务 向 mqClientFactory 注册本消费者

8.5.46.jar └── tomcat-embed-core-8.5.46.jar ● bin目录下放的是脚本文件 ● conf目录，配置文件 2m-2s-async 双主双从异步复制模式 2m-2s-sync 双主双从同步双写模式 2m-noslave 双主模式 ● lib 存放的依赖jar包 测试namesrv的启动 启动命令： nohup /Users/gits /Users/gitsilence/JavaTools/rocketmq/rocketmq-4.9.2-SNAPSHOT/bin/mqshutdown namesrv 原文链接：rocketmq 服务部署 集群部署 双主双从异步复制模式 两个台电脑 ● Mac OS ● 地址：192.168.166.20 ● Cent OS ● 地址：192.168.166.206 保证两台电脑在同一网段，端口是通的，可以关闭防火墙 brokerId=0 # 删除文件时间点，默认凌晨4点 deleteWhen=04 # 文件保留时间，默认48小时 fileReservedTime=48 # Broker的角色，AYNSC_MASTER=异步复制master，SYNC_MASTER=同步双写master，SLAVE= lave节点 brokerRole=ASYNC_MASTER # 刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘

............................................................................. 25 7.13 HA，同步双写/异步复制 .................................................................................................. 在返四种情冴下能保证消息丌丢，戒 者丢失少量数据（依赖刷盘方式是同步迓是异步）。 (5)、(6)属亍单点故障，丏无法恢复，一旦収生，在此单点上的消息全部丢失。RocketMQ 在返两种情冴下，通 过异步复制，可保证 99%的消息丌丢，但是仍然会有极少量的消息可能丢失。通过同步双写技术可以完全避免单点， 同步双写势必会影响性能，适合对消息可靠性要求极高的场合，例如不 Money 相关的应用。 RocketMQ 的消息在一个滑劢窗口区间，可以有多个线程幵行消 费，但是每次提交的 Offset 都是最小 Offset，例如 3 7.11 发送定时消息 7.12 消息消费失败，定时重试 7.13 HA，同步双写/异步复制 异步复制的实现思路非常简单，Slave 启劢一个线程，丌断从 Master 拉叏 Commit Log 中的数据，然后在异步 build 出 Consume Queue 数据结构。整个实现过程基本同

Broker 中，即${ ROCKETMQ_HOME}/store/config/topics.json。 在 RocketMQ4.5.0 版本后引入了多副本机制，即一个复制组（m-s）可以演变为基 于 raft 协议的复制组，复制组内部使用 raft 协议保证 broker 节点数据的强一致性，该部署 架构在金融行业用的比较多。 二、消息订阅模型 在 RocketMQ 的消息消费模式采用的是发布与订阅模式。 3 实战：RocketMQ 学习环境搭建指南篇 其中 conf 文件夹存放的是 RocketMQ 的配置文件，提供了各种部署结构的示例配 置。例如 2m-2s-async 是 2 主 2 从异步复制的配置示例；2m-noslave 是 2 主的示例 配置。由于本文主要是搭建一个学习环境，故采取的部署架构为 1 主的部署架构，关于生产 环境下如何搭建 RocketMQ 集群、如何调优参数将在该专栏的后续文章中专门介绍。 Step3：使用 maven 命令编译源代码。 mvn clean package -DskipTests 编译后在 target 目录下会生成可运行的 jar 包，如下图所示： Step4：我们可以将该包复制到自己常用的软件安装目录，例如笔者喜欢将其放在/opt /application 下。 cp rocketmq-console-ng-1.0.0.jar /opt/application/ Step5：启动

2019 2020 M eta Q v 2 .0 RocketM Q v 3 .0 Ap a che RocketM Q 4.x Lin ux Op en M essa gin g 主从复制架构升级，性能提升数倍 RAFT 存储生产可用 rocketm q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 等数据同步过程中，需要保证严格顺序 RAFT 存储支持：自动主从切换，强一致性保证 逻辑队列：秒级无损弹性扩缩，无数据复制，流量精准调度 消息与流融合索引支持 核心问题 • 消息体小且存储结构面向单 条消息，导致提升吞吐困难 • 在进行状态存储时，无 KV 语义支撑 挑战 • Commitlog 格式存储， 统一复制算法 • 不借助外部依赖，提供 状态存储能力 • 单一数据文件，支持面向流的索引及面向

Consumer也由用户部署，支持PUSH和PULL两种消费模式，支持集群消费和广播消息，提供实时的 息订阅机制，满足大多数消费场景。 特点 ● RocketMQ支持异步实时刷盘，同步刷盘，同步复制，异步复制。具有高可靠性。不会因为操作系 的崩溃而导致数据丢失。 ● RocketMQ经过一系列的实践和优化，处理速度从最初的10,000TPS到目前已经超过50,000TPS。 纯比较TPS的话虽然还