104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId 与 offsetMsgId 释疑 131 1.15 RocketMQ ACL 使用指南 141 1.16 RocketMQ 消息轨迹-设计篇 有了新的称号，那就得更加努力，朝着优秀努力，在 2019 年我又陆续发表了 20 几篇 关于 RocketMQ 相关的文章，这些文章含金量极高，不仅及时跟进了 RocketMQ4.3.0 之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指 出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于 20 19 年 RocketMQ 官方社区授予我优秀布道师荣誉称号。 提交一个文档被接受也同样可以，难的是持续贡献，最终被开源项目的 PMC 认为对该项目 有着突出贡献。 我比较“苦逼”，在带娃方面我的资源只有我老婆，父母在老家无法分身，故下班后我 没有连续的空闲时间专心投入一项任务中，而开源最需要的是精益求精，不只是需要完成功 能，而是要编写结构优良的代码，设计所占据的时间比代码开发时间要多的多，故我个人认 为我暂时不方便走代码贡献这条道路。但我零碎时间还是充足的，故现阶段我会好好利用这

slotNum=5000000）。 2. 根据 slotValue（slot 位置对应的值）查找到索引项列表的最后一项（倒序排列，slotValue 总是挃吐最新的一个 项目开源主页：https://github.com/alibaba/RocketMQ 21 索引项）。 3. 遍历索引项列表迒回查询时间范围内的结果集（默讣一次最大迒回的 32 条记彔） 4. Hash 冲突；寻找 key 值丌同但模数相同，此时查询的时候会在比较一次 key 的 hash 值（每个索引项保存了 key 的 hash 值），过滤掉 hash 值丌相等的项。第二种，hash 值相等但 key 丌等， 出亍性能的考虑冲突的检测放到客户端处理（key 的原始值是存储在消息文件中的，避免对数据文件的解析）， 客户端比较一次消息体的 key 是否相同。 5. 存储；为了节省空间索引项中存储的时间是时间差值（存储时间-开始时间，开始时间存储在索引文件头中）， 异步复制的实现思路非常简单，Slave 启劢一个线程，丌断从 Master 拉叏 Commit Log 中的数据，然后在异步 build 出 Consume Queue 数据结构。整个实现过程基本同 Mysql 主从同步类似。 项目开源主页：https://github.com/alibaba/RocketMQ 26 7.14 单个 JVM 进程也能利用机器超大内存 MEMORY VIRTUAL

p 2019 2020 M eta Q v 2 .0 RocketM Q v 3 .0 Ap a che RocketM Q 4.x Lin ux Op en M essa gin g 主从复制架构升级，性能提升数倍 RAFT 存储生产可用 rocketm q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 容量调整时，不能产生数据迁移，且要在秒级完成 固定分区使用场景 • 任务计算过程中，会将同一个业务类型的数据发到同一个队列 • Binlog 等数据同步过程中，需要保证严格顺序 RAFT 存储支持：自动主从切换，强一致性保证 逻辑队列：秒级无损弹性扩缩，无数据复制，流量精准调度 消息与流融合索引支持 核心问题 • 消息体小且存储结构面向单 条消息，导致提升吞吐困难 • 在进行状态存储时，无

group）定时发送到， brokerAddrTable 集合中列出的 broker 上去 Producer 发送消息只发送到 master 的 broker 机器，在通过 broker 的主从复制机制拷贝到 broker 的 slave 上去 二：Producer 如何发送消息 Producer 轮询某 topic 下的所有队列的方式来实现发送方的负载均衡 //没有理解意图 long readOffset = this.byteBufferRead.getLong(pos - 8); this.processPostion = pos; 主从复制 从哪里开始复制：如果请求时 0 ，从最后一个文件开始复制 Slave 启动的时候 brokerController 开启定时任务定时拷贝 master 的配置信息 SlaveSynchronize

Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 • ⾼高并发 • 消息堆积 • Apache顶级项⽬目 发展历史 2013� Open Source Massive accumulation Orderly messaging 2014� Industry Ready 194 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面 • 容器器化部署，K8S编排 • 诸如IoT/IIoT新场景下的规模化部署能⼒力力不不⾜足 • HTTP/RESTful/JSON 灵活调⽤用，监控及运维能⼒力力不不⾜足

Apache RocketMQ 是一款 java 语言开发的开源的、分布式的消息投递与流数据平台。 最早于 2016 年由阿里巴巴捐献给了 Apache 基金会，2017 年成为 Apache 的 顶级项 目，RocketMQ 具有低延迟，金融级高可用以及厂商中立的特点，目前广泛使用于国内 外的互联网公司。针对 AMAZON WEB SERVICES 客户需要在 AMAZON WEB SERVICES 其他区域使用此方案，请点击此处 2. 确保您的账⼾下的 Elastic IP ，VPC ， EC2 ，Auto Scaling Group，NAT Gateway， EBS 等没有达到上限。如果某一项您已经达到上限，请向后台提交⼯单选择申 请提高限制。 3. 如果在该区域内您还没有密钥对，请在 Amazon EC2 控制台的导航窗格中，依 次选择密钥对、创建密钥对，选择默认的.pem 格式，键⼊名称，然后选择创建 AvailabilityZones 必填项 ⼦网可用区的列表。 您指定的 逻辑顺序会被保留。此部署使用 Page 8 of 18 2 个或 3 个可用区。完 成选择 后，请确保“可用区数量”参数 与 您此处的选择是一致的。 2 Number of Availability Zones NumberOfAZs 必填项 要在 VPC

其他区域使⽤此⽅案，请点击此处 2. 确保您的账⼾下的 Elastic IP ，VPC ， EC2 ，Auto Scaling Group，NAT Gateway，EBS 等没有达到上限。如果某⼀项您已经达到上限，请向后台提交 ⼯单选择申请提⾼限制。 3. 如果在该区域内您还没有密钥对，请在 Amazon EC2 控制台的导航窗格中， 依次选择密钥对、创建密钥对，选择默认的.pem 格式，键⼊名称，然后选择 AvailabilityZones 必填项 ⼦⽹可⽤区的列表。 您指定的 逻辑顺序会被保留。此部署使⽤ 2 个或 3 个可⽤区。完 成选择 后，请确保“可⽤区数量”参数 与您此处的选择是⼀致的。 2 Number of Availability Zones NumberOfAZs 必填项 要在 VPC 中使⽤的可⽤区的数 量 (2 可⽤区 3 中的公有⼦⽹的 CIDR 块。 10 Allowed Bastion External Access CIDR RemoteAccessCIDR 必填项 允许对堡垒主机进⾏外部 SSH 访问的 CIDR IP 范围。我们建 议您 将此值设置为受信任的 IP 范围。例如，您可能希望仅对公 司⽹ 络 IP 段授予访问权限。如 果允许所有的外部主机访问，可

0.00(0,0 s) 0.00(0,0ms) 0 453367.41 -1.0000 单机部署 部署rocketmq-console可视化监控 1、git clone git@github.com:apache/rocketmq-externals.git 2、cd rocketmq-externals 3、git checkout

configurations Supported, rich web and terminal command to expose co e metrics 文献参照 ● RocketMQ与Kafka对比（18项差异） ● 技术选型：RocketMQ or Kafka ● Apache Kafkaに入門した 原文链接：Apache RocketMQ 介绍 ● 解决KafKa数据存储与顺序一致性保证 ●