F%97%EF%BC %88jbd2%EF%BC%89bug/ 6.3 数据存储结构 Producer Consumer topic、queueId、message Commit Log 消费队列服务 （存储消息在CommitLog中的Offset 信息） Offset、Size、TagsCode 消息索引服务 （存储消息Key与消息在CommitLog 中的Offset对应关系） topic、queueId、message Commit Log Consume Queue存储消息在Commit Log中的位置信息 CommitLog Offset Size 8 Byte 4 Byte Message Tag Hashcode 8 Byte 图表 7-1RocketMQ 队列 (1). 所有数据单独存储到一个 Commit Log，完全顺序写，随机读。 (2). 对最终用户展现的队列实际只存储消息在 对最终用户展现的队列实际只存储消息在 Commit Log 的位置信息，幵丏串行方式刷盘。 项目开源主页：https://github.com/alibaba/RocketMQ 17 返样做的好处如下： (1). 队列轻量化，单个队列数据量非常少。 (2). 对磁盘的访问串行化，避免磁盘竟争，丌会因为队列增加导致 IOWAIT 增高。 每个方案都有缺点，它的缺点如下：

/Users/gitsilence/JavaTools/rocketmq/logs/namesrv/namesrv.log & linux节点启动 nohup /root/rocketmq/rocketmq-4.9.2-SNAPSHOT/bin/mqnamesrv >> /root/rocketmq/logs namesrv/namesrv.log & Linux 环境下遇到的问题： ● 启动的时候设置内存太大，只是用来测试的话，我们可以改下启动脚本的内存配置， 2-SNAPSHOT/conf/2m-2s-async/broker-a.p operties >> /Users/gitsilence/JavaTools/rocketmq/logs/broker/master-broker-a.log & 2、启动 Linux 的 master节点 broker-b nohup sh /root/rocketmq/rocketmq-4.9.2-SNAPSHOT/bin/mqbroker -c mq-4.9.2-SNAPSHOT/conf/2m-2s-async/broker-b.properties >> /root/rocketmq/logs/broker master-broker-b.log & 3、启动linux的slave节点 broker-a nohup sh /root/rocketmq/rocketmq-4.9.2-SNAPSHOT/bin/mqbroker -c /root/rocketmq/rocke

NameServer 会占用 4G。 Step4：启动 nameserver nohup ./mqnamesrv & 查看${user_home}/logs/rocketmqlogs/namesrv.log 日志文件，如果输出结果如下 图所示即表示启动成功。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 1.3 实战：RocketMQ 学习环境搭建指南篇 < 30 Step5：修改 broker cd bin nohup ./mqbroker -c ../conf/broker.conf & 查看${user_home}/logs/rocketmqlogs/broker.log，如果输出结果如下图所示表示 启动成功。 经过上面的步骤，就成功在 Linux 环境上安装了 RocketMQ Nameserver 服务器与 Broker 服务器。 温馨提示：如果上面在安 brokerController.getTopicConfigManager().s electTopicConfig(topic); if (null == topicConfig) { // @2 log.warn("consumeStats, topic config not exist, {}", topic); continue; } { SubscriptionData findSubscriptionData

tranStateTable 的文件中；如果是 commitType 和 rollbackType 消息， 修改事物状态表格 tranStateTable 中的消息状态。 记 录 Transaction Redo Log 日 志 ： 记 录 了 commitLogOffset, msgSize, preapredTransactionOffset, storeTimestamp。 2.2.3 事物状态表 先按照正常流程恢复 Tran Redo Log commitLog 异常恢复，commitLog 根据 checkpoint 时间点重新生成 redolog， 重新分发 消息 DispatchRequest, 分发消息到位置信息到 ConsumeQueue 更新 Transaction State Table 记录 Transaction Redo Log 删除事物状态表 加载消费者订阅关系 consumer subscription 4. 加载本地消息 messageStore.load() a) Load 定时进度 b) Load commit log commitLog 其实调用存储消费队列 mapedFileQueue.load()方法来加载的。 遍历出${user.home} \store\${commitlog}目录下所有 commitLog

历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 Messaging&Streaming Platform Database changes Log events IoT data Microservice messages … OpenMessaging specification OpenMessaging specification Third party partner SQL/RPC Filter DC Router Multi- tenancy Exactly Only once 24/7 Support LOG Connector IoT Connector … Connector Hadoop Spark Storm Beam HBase OLAP AWS/Az ure … Real-time

历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 Messaging&Streaming Platform Database changes Log events IoT data Microservice messages … OpenMessaging specification OpenMessaging specification Third party partner SQL/RPC Filter DC Router Multi- tenancy Exactly Only once 24/7 Support LOG Connector IoT Connector … Connector Hadoop Spark Storm Beam HBase OLAP AWS/Az ure … Real-time

tmq-all-4.8.0-bin-release Apache RocketMQ 的应用程 序目录 3 /home/ec2-user/rocketmq-deploy/install.log 部署脚本的安装日志，如果 有错误可以查看这个日志 4 /home/ec2-user/rocketmq-deploy/rocketmq-console-ng-1.0.0.jar Apache tmq-all-4.8.0-bin-release Apache RocketMQ 的应用程 序目录 3 /home/ec2-user/rocketmq-deploy/install.log 部署脚本的安装日志，如果 有错误可以查看这个日志 4 /home/ec2-user/rocketmq-deploy/rocketMQ-config/ Apache RocketMQ Broker

q-all-4.8.0-bin- release Apache RocketMQ 的应用 程序目录 3 /home/ec2-user/rocketmq-deploy/install.log 部署脚本的安装日志，如果 有错误可以查看这个日志 Page 16 of 21 4 /home/ec2-user/rocketmq-deploy/rocketmq-console-ng- q-all-4.8.0-bin- release Apache RocketMQ 的应用 程序目录 3 /home/ec2-user/rocketmq-deploy/install.log 部署脚本的安装日志，如果 有错误可以查看这个日志 4 /home/ec2-user/rocketmq-deploy/rocketMQ-config/ Apache RocketMQ Broker