有些什么条件呢？ 1. 扎实的 Java 基础功底 一个开源项目的底层都会涉及到存储，这就要求具备一定的数据结构基础，JAVA 集 合框架中的类自然成为了我们突破数据结构最好的老师，其次是 java 并发，即多线程、并 发容器、锁等课题，这方面可以好好学习一下 JUC 框架。最后最好是具备一些网络方面的 知识，例如 NIO、Netty。 2. 持续输出能力 成为一个开源项目的 contributions RocketMQ 开源社区的方式 接下来我们回到本节的主题，那如何参与一个开源项目呢？ 在参与一个开源项目之前，我觉得第一个最基本的步骤还是要打牢基础，这里的基础至 少要包括 JAVA 集合、JAVA 并发（JUC)这两项，只是最最基本的，至少要阅读其源码， 理解其设计理念，至于 NIO，Netty 这些可以后续在需要使用时再去专门学习，有针对性 的学习，有使用需求，或许学习动力更强劲，学习效率更高效。 量。 广播模式的消费进度文件存储在用户的主目录，默认文件全路劲名：${USER_HOM E}/.rocketmq_offsets。 4. 消费模型 RocketMQ 提供了并发消费、顺序消费两种消费模型。 并发消费：对一个队列中消息，每一个消费者内部都会创建一个线程池，对队列中的消 息多线程处理，即偏移量大的消息比偏移量小的消息有可能先消费。 顺序消费：在某一项场景，例如 MySQL

.................................................................................... 20 四：push 消息—并发消费消息 ............................................................................................ 24 1) 一阶段，向 broker 发送一条 prepared 的消息，返回消息的 offset 即消息地址 commitLog 中消息偏移量。Prepared 状态消息不被消费 发送消息 ok，执行本地事物分支， 本地事物方法需要实现 rocketmq 的回调接口 2）2） 2) LocalTransactionExecuter ， 处 理 本 地 事 物 逻 辑 返 回 处 理 的 事 物 状 queue 选择一台 broker 获取基于 group 的所有消费端（有心跳向所有 broker 注册客户端信息） 选择队列分配策略实例 AllocateMessageQueueStrategy 执行分配算法,获取队列集合 Set mqSet 1） 平均分配算法，其实是类似于分页的算法 将所有 queue 排好序类似于记录 将所有消费端 consumer 排好序，相当于页数

Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 • ⾼高并发 • 消息堆积 • Apache顶级项⽬目 发展历史 2013� Open Source Massive accumulation Orderly messaging 2014� Eventual Consistency 分布式事务解决⽅方案 XA 特点： 1. 两阶段提交 2. 仅商业化数据库⽀支持 3. ⽆无法满⾜足⾼高并发场景 分布式事务解决⽅方案 SAGA 特点： 1. 提交+补偿 2. 并发隔离性很难保证 分布式事务解决⽅方案 TCC 特点： 1. 特殊的两阶段提交 2. Try阶段检查/锁定资源 没有真正提交 3. 增加了了⼀一个状态处理理，开发变复杂 Receive message 先执⾏行行本地事务还是先发送消息？ 交易易型分布式事务的 RocketMQ使⽤用场景 分布式事务解决⽅方案 半消息 远程事务 特点： 1. 稳定，⽀支持⾼高并发 2. 回查机制可靠易易⽤用 3. 不不引⼊入额外的依赖 注意：回查⽅方法需要幂等 Broker 实现细节 Producer with PID TransactionListener

到大批量实时零损失容忍交易系统。 里程碑 2012年，阿里巴巴开始开发RocketMQ，经历了数次双11核心交易链路检验。 2016年11月11日，RocketMQ又一次在阿里巴巴全球购物节上处理了1.2万亿个并发在线消息传输， 后阿里巴巴将RocketMQ捐献给Apache Incubator。 2017年9月25日 – Apache软件基金会，连同350多个开源项目的全体志愿者、开发人员、管理人员 和孵

Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 低延迟分布式存储系统 – 并发锁的开销 lReentrantLock/synchronized ØFair ØUnfair lLockSupport.unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？

Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 低延迟分布式存储系统 – 并发锁的开销 lReentrantLock/synchronized ØFair ØUnfair lLockSupport.unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？

--- arm64 jdk版本：1.8 maven版本：3.6.3 git clone https://github.com/apache/rocketmq.git cd rocketmq # 执行mvn构建命令, 这里的命令含义是：清理之前编译、打包的文件，激活profile 名为 release-al # 然后打包，不编译单元测试，也不运行单元测试 mvn clean -P release-all 改下启动脚本的内存配置， runserver.sh ● 还有一个就是脚本格式问题，会导致脚本执行不了，解决办法： https://blog.lacknb.cn/articles/ 019/10/10/1577974148936.html#toc_h2_18 nameserver启动完毕后，可以执行 jps ，查看是否起来 Cent OS rocketmq配置文件 1、配置master节点 release-rocketmq-console-1.0.0 4、cd rocketmq-console 5、mvn clean package -Dmaven.test.skip=true 6、构建成功后，执行启动命令 nohup java -jar target/rocketmq-console-ng-1.0.0.jar --rocketmq.config.namesrvAddr='192.1 8.166

com/alibaba/RocketMQ 21 索引项）。 3. 遍历索引项列表迒回查询时间范围内的结果集（默讣一次最大迒回的 32 条记彔） 4. Hash 冲突；寻找 key 的 slot 位置时相当亍执行了两次散列函数，一次 key 的 hash，一次 key 的 hash 值叏模， 因此返里存在两次冲突的情冴；第一种，key 的 hash 值丌同但模数相同，此时查询的时候会在比较一次 key 的 Consumer。注意：Message Tag 是字符串形式，Consume Queue 中存储的是其对应的 hashcode，比对时也是比对 hashcode。 (2). Consumer 收到过滤后的消息后，同样也要执行在 Broker 端的操作，但是比对的是真实的 Message Tag 字 符串，而丌是 Hashcode。 为什举过滤要返样做？ (1). Message Tag 存储 Hashcode，是为了在 com/alibaba/RocketMQ 40 12.3 Broker 重启对客户端的影响 Broker 重启可能会导致正在収往返台机器的的消息収送失败，RocketMQ 提供了一种优雅关闭 Broker 的方法，通过 执行以下命令会清除 Broker 的写权限，过 40s 后，所有客户端都会更新 Broker 路由信息，此时再关闭 Broker 就丌 会収生収送消息失败的情冴，因为所有消息都収往了其他 Broker。