丁威，《RocketMQ 技术内幕》作者，RocketMQ 官方社区优秀布道师，荣获 CSDN2020 博客之星亚军；担任中通快递研发中心资深架构师，维护『中间件兴趣圈』公 众号，主打成体系剖析 Java 主流中间件，尝试从源码分析、架构设计、实战、故障分析等 维度深刻揭晓中间件技术，已覆盖 RocketMQ、Dubbo、Sentienl、Kafka、Canal、 MyCat、ElasticJob、ElasticSearch 呢？这是因为参与开源项目需要具备一些基本条件，当下我的实际情 况不符合，那成为一个开源项目的 Committer 有些什么条件呢？ 1. 扎实的 Java 基础功底 一个开源项目的底层都会涉及到存储，这就要求具备一定的数据结构基础，JAVA 集 合框架中的类自然成为了我们突破数据结构最好的老师，其次是 java 并发，即多线程、并 发容器、锁等课题，这方面可以好好学习一下 JUC 框架。最后最好是具备一些网络方面的 知识，例如 开篇：我的另一种参与 RocketMQ 开源社区的方式 接下来我们回到本节的主题，那如何参与一个开源项目呢？ 在参与一个开源项目之前，我觉得第一个最基本的步骤还是要打牢基础，这里的基础至 少要包括 JAVA 集合、JAVA 并发（JUC)这两项，只是最最基本的，至少要阅读其源码， 理解其设计理念，至于 NIO，Netty 这些可以后续在需要使用时再去专门学习，有针对性 的学习，有使用需求，或许学习动力更强劲，学习效率更高效。

4 在 RocketMQ 中，所有消息队列都是持丽化，长度无限的数据结构，所谓长度无限是挃队列中的每个存储 单元都是定长，访问其中的存储单元使用 Offset 来访问，offset 为 java long 类型，64 位，理论上在 100 年内丌会溢出，所以讣为是长度无限，另外队列中只保存最近几天的数据，乀前的数据会挄照过期时间来 删除。 也可以讣为 Message Queue 是一个长度无限的数组，offset PAGECACHE，然后刷盘，可以保证内存不磁盘都有一份数据， 访问时，直接从内存读叏。 7.2.1 异步刷盘 MEMORY JAVA HEAP DISK Producer Flush Asynchronously 在有 RAID 卡，SAS 15000 转磁盘测试顺序写文件，速度可以达到 300M 每秒左史，而线上的网卡一般都为千兆 b.com/alibaba/RocketMQ 19 来找出更多干净 PAGE。 综上，内存溢出的情冴丌会出现。 7.2.2 同步刷盘 MEMORY JAVA HEAP DISK Producer Flush Synchronously 同步刷盘不异步刷盘的唯一区别是异步刷盘写完 PAGECACHE 直接迒回，而同步刷盘需要等待刷盘完成才迒回，

​hienminhnguyen711@gmail.​com / Phone : +358 469 335 071 Github: ​https://github.com/hiejulia Related skills : Java, Golang, SQL, NoSQL, Rest, gPRC, Microservices, Test, DevOps, Distributed system, Cloud(AWS, Azure) source release and build binary artifact) - Test and research DLedgerRoleChangeHandler.java, SlaveSynchronize.java, algorithms class : AllocateMessageQueueAveragelyByCircle,AllocateMachineRoomNearb y Horizontal scale with Name server cluster scale, Broker Cluster Scale RocketMQ has Client SDK for Go, Java More in detailed (more detailed will added) - create new RocketMQ scaler with metadata, get connection

1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 WRITEBACK RECLAIM ANON SWAPCACHE SWAPBACKED HUGE RECLAIM NOPAGE 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺解决方案 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 Direct 如果遇到坏盘，可能Block若干分钟，对系统产生致命影响。 操作系统Page Cache Radix Tree 每个Page的阻塞锁，产生几百毫秒小毛刺 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起） 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 在线熔断机制 ①消息服务器

1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 WRITEBACK RECLAIM ANON SWAPCACHE SWAPBACKED HUGE RECLAIM NOPAGE 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺解决方案 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 Direct 如果遇到坏盘，可能Block若干分钟，对系统产生致命影响。 操作系统Page Cache Radix Tree 每个Page的阻塞锁，产生几百毫秒小毛刺 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起） 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 在线熔断机制 ①消息服务器

High Availability and Failover Message Track Configuration anagement and Operation Tools ActiveMQ Java, .NET, C++ etc. Push model, support OpenWire, STOMP, AMQP, M TT, JMS Exclusive Consumer or Exclusive default configuration is low level, user need to optimize the configuration parameters Supported Kafka Java, Scala etc. Pull model, support TCP Ensure ordering of messages w thin a partition Not Supported from a file or programmatically. Supported, u e terminal command to expose core metrics RocketMQ Java, C++, Go Pull model, support TCP, JMS, OpenMessaging Ens re strict ordering of messages,and can scale

conf:/opt/rocketmq-4.4.0/conf/broker.conf environment: NAMESRV_ADDR: "172.10.0.14:9876" JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m" command: ./mqbroker -c ../conf/broker.conf depends_on: rmqconsole ports: - 9999:8080 environment: 原文链接：docker-compose 安装 rocketmq JAVA_OPTS: "-Drocketmq.namesrv.addr=172.10.0.14:9876 -Dcom.rocketmq.sendMessag WithVIPChannel=false"

e-1.0.0 4、cd rocketmq-console 5、mvn clean package -Dmaven.test.skip=true 6、构建成功后，执行启动命令 nohup java -jar target/rocketmq-console-ng-1.0.0.jar --rocketmq.config.namesrvAddr='192.1 8.166.20:9876;192.168

............................... 17 Page 3 of 18 背景介绍 Apache RocketMQ 是一款 java 语言开发的开源的、分布式的消息投递与流数据平台。 最早于 2016 年由阿里巴巴捐献给了 Apache 基金会，2017 年成为 Apache 的 顶级项 目，RocketMQ 具有低延迟，

............................... 20 Page 3 of 21 背景介绍 Apache RocketMQ 是一款 java 语言开发的开源的、分布式的消息投递与流数据平 台。最早于 2016 年由阿里巴巴捐献给了 Apache 基金会，2017 年成为 Apache 的 顶级项目，RocketMQ 具有低延迟，