万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战

商业行为。 7 > 开篇：我的另一种参与 RocketMQ 开源社区的方式  RocketMQ 为什么性能高效，到底运用了什么“厉害”的技术？  RocketMQ 如何实现刷盘（可以类比一下数据库方面的刷盘、redo、undo 日志）？  RocketMQ 文件存储设计理念、基于文件的 Hash 索引是怎么实现的?  定时消息、消息过滤等实现原理。  如何进行网络编程（Netty 息存储、消息消费、消 息过滤、事务消息等各个方面对其进行了体系化的剖析，边写边分享，边分享边传播，终于 得到了机械工业出版社华章分社的杨福川老师的认可，邀请我出书。 在杨老师和张工的帮助与指点下，经过将近半年的努力，书稿基本完稿。由于我当时是 一位名不经传的新人，按照出版行业的惯例，需要找一些该领域内专家大牛帮忙做序或写写 推荐语。当时我也是初生牛犊不怕虎，蹦出了一个非常大胆的想法，是不是可以联系到 官方的一些大佬，最终我直接锁定了 RocketMQ 创始人冯嘉大神，希望他 能帮我作序推荐，令人惊喜的是冯嘉大神非常平易见人，得知我的来意后，他说了这样一句 话：“我是非常愿意为写书的朋友作序，但需要评估一下书稿的质量，如果质量 OK，非常 愿意效劳”。我备受鼓舞，在和出版社初步沟通后，将试读稿件再加上消息存储整章的内容 发给冯嘉大神后，经冯嘉大神认真审稿后，决定帮忙推荐作序，真的非常受鼓舞。 随着《RocketMQ

在公有⼦⽹中，允许私有⼦⽹中的资源（RocketMQ 实例）进⾏出站 Internet 连接的 NAT Gateway。 • (*) 在公有⼦⽹中，Auto Scaling 组中的允许 SSH 访问的堡垒主机。默认 情况下将 部署⼀台堡垒主机，此数⽬可配置，最多启动 4 台。通过堡垒主 机访问私有⼦⽹ 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management 确保您已经有了⼀个可 以访问这两个区域的 AMAZON WEB SERVICES 账号。如果您在 AMAZON WEB SERVICES 其他区域使⽤此⽅案，请点击此处 2. 确保您的账⼾下的 Elastic IP ，VPC ， EC2 ，Auto Scaling Group，NAT Gateway，EBS 等没有达到上限。如果某⼀项您已经达到上限，请向后台提交 ⼯单选择申请提⾼限制。 VPC，请注意下列注意事项： • 请确保您在不同可⽤区中已有⾄少两个公有⼦⽹和三个私有⼦⽹。 Page 7 of 21 • 确保 DHCP 选项中开启了域名选项配置集。 • 确保私有⼦⽹的路由表中存在 NAT ⽹关或 NAT 实例的路由，使得其拥有 出站 Internet 连接。 • 您必须创建堡垒主机及其关联的安全组以实现⼊站 SSH 访问

的主从复制机制拷贝到 broker 的 slave 上去 二：Producer 如何发送消息 Producer 轮询某 topic 下的所有队列的方式来实现发送方的负载均衡 1） Topic 下的所有队列如何理解： 比如 broker1, broker2, borker3 三台 broker 机器都配置了 Topic_A Broker1 的队列为 queue0 queue0 , queue1 Broker2 的队列为 queue0, queue2, queue3, Broker3 的队列为 queue0 当然一般情况下的 broker 的配置都是一样的 以上当 broker 启动的时候注册到 namesrv 的 Topic_A 队列为共 6 个分别为： broker1_queue0, broker1_queue1, broker2_queue0 //Topic_A --brokerName //代表发送消息到达的 broker --queueId //代表发送消息的在指定 broker 上指定 topic 下的队列编号 向指定 broker 的指定 topic 的指定 queue 发送消息 发送失败(1)重试次数不到两次(2)发送此条消息花费时间还没有到 3000(毫秒), 换 个队列继续发送。

在公有⼦网中，允许私有⼦网中的资源（RocketMQ 实例）进⾏出站 Internet 连接的 NAT Gateway。 • (*) 在公有⼦网中，Auto Scaling 组中的允许 SSH 访问的堡垒主机。默认情况 下将 部署一台堡垒主机，此数目可配置，最多启动 4 台。通过堡垒主机访 问私有⼦网 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management 确保 您已经有了一个可以访问这两个区域的 AMAZON WEB SERVICES 账号。如果您在 AMAZON WEB SERVICES 其他区域使用此方案，请点击此处 2. 确保您的账⼾下的 Elastic IP ，VPC ， EC2 ，Auto Scaling Group，NAT Gateway， EBS 等没有达到上限。如果某一项您已经达到上限，请向后台提交⼯单选择申 请提高限制。 如果您要将 RocketMQ 部署到现有 VPC，请注意下列注意事项： • 请确保您在不同可用区中已有⾄少两个公有⼦网和三个私有⼦网。 • 确保 DHCP 选项中开启了域名选项配置集。 • 确保私有⼦网的路由表中存在 NAT 网关或 NAT 实例的路由，使得其拥有出 站 Internet 连接。 • 您必须创建堡垒主机及其关联的安全组以实现⼊站 SSH 访问

ActiveMQ等。但在需求不断膨胀的情况下，ActiveMQ IO模块遇到了瓶颈，几经努力但改善成果不 。这时正值Kafka流行，于是引起了阿里巴巴开发团队的注意，对kafka的无限消息堆积，高效持久化 度等特性非常赞赏。但不幸的是，Kafka不能满足他们的要求，特别是在低延迟和高可靠性方面。在 种情况下，阿里巴巴决定发明一个新的消息传递引擎来处理更广泛的用例集，从传统的发布/订阅方 到大批量实时零损失容忍交易系统。 和孵化项目组织，宣布Apache®RocketMQ™从Apache孵化器毕业成为顶级项目，这表明该项目的 区和产品已根据ASF的精英流程和原则得到了很好的管理。 现今，Apache RocketMQ在社区各方面的努力下，茁壮发展，很多功能都得到了加强。 RocketMQ的技术概览 在我们看来，它最大的创新点在于能够通过精巧的横向、纵向扩展，不断满足与日俱增的海量消息在 吞吐、高可靠、低延迟方面的要求。 目前R

Producer 収送 的顺序去消费消息。  普通顺序消息 顺序消息的一种，正常情冴下可以保证完全的顺序消息，但是一旦収生通信异常，Broker 重启，由亍队列 总数収生发化，哈希叏模后定位的队列会发化，产生短暂的消息顺序丌一致。 如果业务能容忍在集群异常情冴（如某个 Broker 宕机戒者重启）下，消息短暂的乱序，使用普通顺序方 式比较合适。  严格顺序消息 顺序消息的一 磁盘设备损坏。 (1)、(2)、(3)、(4)四种情冴都属亍硬件资源可立即恢复情冴，RocketMQ 在返四种情冴下能保证消息丌丢，戒 者丢失少量数据（依赖刷盘方式是同步迓是异步）。 (5)、(6)属亍单点故障，丏无法恢复，一旦収生，在此单点上的消息全部丢失。RocketMQ 在返两种情冴下，通 过异步复制，可保证 99%的消息丌丢，但是仍然会有极少量的消息可能丢失。通过同步双写技术可以完全避免单点， 同步双写势必会影响性能，适合对消息可靠性要求极高的场合，例如不 Money 相关的应用。 RocketMQ 从 3.0 版本开始支持同步双写。 4.7 Low Latency Messaging 在消息丌堆积情冴下，消息到达 Broker 后，能立刻到达 Consumer。 RocketMQ 使用长轮询 Pull 方式，可保证消息非常实时，消息实时性丌低亍 Push。 项目开源主页：https://github

Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 DefaultRequestProcessor Store Service RemotingCommand • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件 - - - - - 1G - - - - - 6M - - - - - appendMessage() FileChannel.map() flush() selectMappedBuffer() • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 分布式事务⾯面临的挑战 分布式事务理理论 ACID 刚性事务(强⼀一致) BASE

skip=true 编译后进入到 distribution/target目录，rocket-mq-xxx.tar.gz 和 rocket-mq-xxx.zip 两种，zip 是w ndow下的，tar.gz为Linux下的； tar.gz解压后的目录结构： . ├── LICENSE ├── NOTICE ├── README.md ├── benchmark │ ├── batchproducer /root/rocketmq/rocketmq-4.9.2-SNAPSHOT/bin/mqnamesrv >> /root/rocketmq/logs namesrv/namesrv.log & Linux 环境下遇到的问题： ● 启动的时候设置内存太大，只是用来测试的话，我们可以改下启动脚本的内存配置， runserver.sh ● 还有一个就是脚本格式问题，会导致脚本执行不了，解决办法： https://blog