101 106 111 116 121 126 131 136 141 146 1. 每秒支撑千万级消息发布 2. 每条消息发布最大响应时间 不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1 如果遇到坏盘，可能Block若干分钟，对系统产生致命影响。 操作系统Page Cache Radix Tree 每个Page的阻塞锁，产生几百毫秒小毛刺 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起） 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 Message File Service Aliware MQ Apache RocketMQ Replication DB Connector Third party partner SQL/RPC Filter DC Router Multi- tenancy Exactly Only once 24/7 Support LOG Connector IoT Connector

101 106 111 116 121 126 131 136 141 146 1. 每秒支撑千万级消息发布 2. 每条消息发布最大响应时间 不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1 如果遇到坏盘，可能Block若干分钟，对系统产生致命影响。 操作系统Page Cache Radix Tree 每个Page的阻塞锁，产生几百毫秒小毛刺 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起） 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 Message File Service Aliware MQ Apache RocketMQ Replication DB Connector Third party partner SQL/RPC Filter DC Router Multi- tenancy Exactly Only once 24/7 Support LOG Connector IoT Connector

消息过滤是指消费端可以根据某些条件对一个 topic 中的消息进行过滤，即只消费一个 主题下满足过滤条件的消息。 RocketMQ 目前主要的过滤机制是基于 tag 的过滤与基于消息属性的过滤，基于消息 属性的过滤支持 SQL92 表达式，对消息进行过滤。 六、小结 本文的主要目的是介绍 RocketMQ 常见的术语，例如 nameserver、broker、主题、 消费组、消费者、队列负载算法、队列重平衡机制、并发消费、顺序消费、消费进度存储、 到新的集群。 同时在做 Broker 服务器巡检的时候，可以通过去通过如下命令去查看 broker 一次 消息追加是否会超过 500 ms。 在这个图中我们看到在设置了 transientStorePoolEnable 为 true 的情况下，虽然 一天只有一条超过 500ms 的消息，但也值得警惕了，由于对系统内核参数掌握程度不够， 这种情况，估计只能走集群扩容的路子了。但如果一天消息量巨大而且出现频率不高的情况， broker 还没有发送“严重”的 pagecache 繁忙， 即消息追加到内存中的最大时延没有超过 1s，通常追加是很快的，绝大部分都会低于 1ms， 但可能会由于出现一个超过 200ms 的追加时间，导致排队中的任务等待时间超过了 200 ms，则此时会触发 broker 端的快速失败，让请求快速失败，便于客户端快速重试。但是 这种请求并不是实时的，而是每隔 10s 检查一遍。 值得注意的是，一旦出现

#OutTPS(LOAD) #PCWait(ms) #Hour #SPACE mq-broker-cluster broker-a 0 192.168.166.20:10911 V4_9_1 0.00(0,0 s) 0.00(0,0ms) 0 453367.41 -1.0000 0.00(0, ms) 0.00(0,0ms) 0 453367.41 -1.0000 mq-broker-cluster broker-b 0 192.168.166.206:10911 V4_9_1 0.00(0, ms) 0.00(0,0ms) broker-b 1 192.168.166.20:11011 V4_9_1 0.00(0,0 s) 0.00(0,0ms) 0 453367.41 -1.0000 单机部署 部署rocketmq-console可视化监控 1、git clone git@github.com:apache/rocketmq-externals

com/alibaba/RocketMQ 14 6.2 文件系统 RocketMQ 选择 Linux Ext4 文件系统，原因如下： Ext4 文件系统删除 1G 大小的文件通常耗时小亍 50ms，而 Ext3 文件系统耗时约 1s 左史，丏删除文件时，磁盘 IO 压力极大，会导致 IO 写入超时。 文件系统局面需要做以下调优措施 文件系统 IO 调度算法需要调整为 deadline，因为 DB 揑入数据 3 5. 吐 DB 揑入数据 4 返条消息的消费过程不 DB 交互了 4 次，如果挄照每次 5ms 计算，那举总共耗时 20ms，假设业务计算耗时 5ms， 那举总过耗时 25ms，如果能把 4 次 DB 交互优化为 2 次，那举总耗时就可以优化到 15ms，也就是说总体性能提高 了 40%。 对亍 Mysql 等 DB，如果部署在磁盘，那举不 DB 迕行交互，如果数据没有命中

V4_0_0 3840.73(0,0ms) 7758.35(0,0ms) 42.31 0.8394 share share-02 1 10.10.10.11:10911 V4_0_0 3764.42(1,0ms) 7734.55(1,0ms) 82.97 0.3245 © 2

/ Phone : +358 469 335 071 Github: ​https://github.com/hiejulia Related skills : Java, Golang, SQL, NoSQL, Rest, gPRC, Microservices, Test, DevOps, Distributed system, Cloud(AWS, Azure) , Golang, Maven Batch example : send messages in batches, split into lists - Filter example: RocketMQ offer some SQL expression to filter out message - Logappender example: - Open Message example: OMS Producer &

IaaS 基础设施支持，降低成本 轻量级SDK： • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop 消费模式，多语言友好，易集成 从业务走向数据： • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无 binding • Broker和Store节点分离部署、独立扩缩 • 可分可合，适应多种业务场景，降低运维负担

w th sync mode to avoid message loss Supported Supported, property filter expressi ns based on SQL92 Supported High performance and low latency file storage upported timestamp and offset two indicates

且没有过期，开始消费消息 计算任务执行的时间如果大于一分钟且线程数小于队列数情况下，将 processqueue， messagequeue 重新构建 ConsumeRequest 加到线程池 10ms 后在消费，这样防止个别队列被 饿死 获取客户端的消费批次个数，默认一批次为一条 从 proccessqueue 获取批次消息， processqueue.takeMessags(batchSize)