Apache RocketMQ – Trillion Messaging in Practice 周新宇(花名：尘央) © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p PROFILE MCS, has rich experience in distributed system design and performance Xinyu Zhou, Email: yukon@apache.org © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p Part I © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p 2016 2007 2010 2011 2012 2015 Notify v3.0 MetaQ v2.0 v3.0 RocketMQ v3.0 OS Apache RocketMQ © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p MetaQ RocketMQ Notify Aliware MQ Ordered messaging，Pull model

路由信息 的地方是在 Broker 中，即${ ROCKETMQ_HOME}/store/config/topics.json。 在 RocketMQ4.5.0 版本后引入了多副本机制，即一个复制组（m-s）可以演变为基 于 raft 协议的复制组，复制组内部使用 raft 协议保证 broker 节点数据的强一致性，该部署 架构在金融行业用的比较多。 二、消息订阅模型 在 RocketMQ 何商业行为。 17 > 1.1 RocketMQ 核心概念扫盲篇 RocketMQ 目前支持指定级别的延迟，其延迟级别如下： 1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 五、消息过滤 消息过滤是指消费端可以根据某些条件对一个 topic 中的消息进行过滤，即只消费一个 主题下满足过滤条件的消息。 RocketMQ 29 > 1.3 实战：RocketMQ 学习环境搭建指南篇 其中 conf 文件夹存放的是 RocketMQ 的配置文件，提供了各种部署结构的示例配 置。例如 2m-2s-async 是 2 主 2 从异步复制的配置示例；2m-noslave 是 2 主的示例 配置。由于本文主要是搭建一个学习环境，故采取的部署架构为 1 主的部署架构，关于生产 环境下如何搭建 RocketMQ 集群、如

tools.sh ├── conf │ ├── 2m-2s-async │ │ ├── broker-a-s.properties │ │ ├── broker-a.properties │ │ ├── broker-b-s.properties │ │ └── broker-b.properties │ ├── 2m-2s-sync │ │ ├── broker-a-s ├── broker-a.properties │ │ ├── broker-b-s.properties │ │ └── broker-b.properties │ ├── 2m-noslave │ │ ├── broker-a.properties │ │ ├── broker-b.properties │ │ └── broker-trace.properties 46.jar └── tomcat-embed-core-8.5.46.jar ● bin目录下放的是脚本文件 ● conf目录，配置文件 2m-2s-async 双主双从异步复制模式 2m-2s-sync 双主双从同步双写模式 2m-noslave 双主模式 ● lib 存放的依赖jar包 测试namesrv的启动 启动命令： nohup /Users/gitsilence

lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 双十一当天交易集群线上可用性 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 1.4万亿 RocketMQ 多副本高可靠 ZK

lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 双十一当天交易集群线上可用性 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 1.4万亿 RocketMQ 多副本高可靠 ZK

局面，必须要做消息排序，如果再涉及到持丽化，那举消息排序要丌 可避免的产生巨大性能开销。 RocketMQ 支持定时消息，但是丌支持任意时间精度，支持特定的 level，例如定时 5s，10s，1m 等。 4.15 消息重试 Consumer 消费消息失败后，要提供一种重试机制，令消息再消费一次。Consumer 消费消息失败通常可以讣为 有以下几种情冴 1. 由亍消息本身的原因 JAVA HEAP DISK Producer Flush Asynchronously 在有 RAID 卡，SAS 15000 转磁盘测试顺序写文件，速度可以达到 300M 每秒左史，而线上的网卡一般都为千兆 网卡，写磁盘速度明显快亍数据网络入口速度，那举是否可以做到写完内存就吐用户迒回，由后台线程刷盘呢？ (1). 由亍磁盘速度大亍网卡速度，那举刷盘的迕度肯定可以跟上消息的写入速度。 ，Slave 会丌会写性能下降， 答案是否定的。因为 Slave 的消息写入只追求吞吏量，丌追求实时性，只要整体的吞吏量高就可以，而 Slave 每次 都是从 Master 拉叏一批数据，如 1M，返种批量顺序写入方式即使堆积情冴，整体吞吏量影响相对较小，只是写入 RT 会发长。 8 RocketMQ 消息过滤 8.1 简单消息过滤 /** *

described for Alibaba’s products remains at the sole discretion of Alibaba. W r i t e h e r e S o m e t h i n g a b o u t 01 Apache RocketMQ 简介 02 云原生时代的 RocketMQ 03 借力 APISIX 构建云原生接入体系 CONTENT 特性支持 IPv 6 支持 © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p 2019 2020 M eta Q v 2 .0 RocketM Q v 3 .0 Ap a che RocketM Q 4.x Lin ux Op en M essa gin g 主从复制架构升级，性能提升数倍 RAFT 存储生产可用 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 + RocketMQ 发展历程 W r i t e h e r e S o m e t h i n g a b o u t 云原生时代的 Apache RocketMQ

@S�O��;��SRKN���=9�"��KPNRO��S�V����- �R��FIIAS�V�� R���@S�O��;�AS�V�� R���ANQTP�:��DFP������VNFPN�F�NSRA�M�QF �NI�"��FIIV�����"�TVST�V�N����������������� �RFQ� �VS�O��QU��S�V���������������� ����>FVFPP�PN�Q �FIIANRO R���@S�O��;�ANRO R���ANQTP�:��DFP��A�VNFPN�F�NSRA�M�QF aNIb"�aTVS�NR��b�" R�� ��KF�P�BSTN�A�P���SV aKPNRO��NROb� "�TVST�V�N������N�M�F��M7P��M=R�M��OTSNR� �V��������������� �RFQ� �VS�O��QU��NRO��������������

Page 9 of 18 12 Bastion AMI Operating System BastionAMIOS AmazonLinuxHV M 堡垒机实例使用 AMI 的 Linux 发 ⾏版。您可以选择 Amazon Linux 、CentOS 或 Ubuntu Server。如 果您选择的是 CentOS，请确保 已订阅 NameServer Intance type NameServerInstanceType m5.large Nameserver 节点的 EC2 实例类 型 20 Broker Node Instance Type BrokerNodeInstanceType m5.xlarge Broker 节点 EC2 实例类型 21 Apache RocketMQ BrokerClusterCount 3 部署 Apache RocketMQ Broker 节 点的数量 11 BrokerNodeInst anceType BrokerNodeInstanceType m5.xlarge Broker 节点的 EC2 Instance 的类 型 12 FlushDiskType FlushDiskType ASYNC_FLUSH Apache RocketMQ

NameServer Intance type NameServerInstanceTy pe m5.large Nameserver 节点的 EC2 实例 类型 20 Broker Node Instance Type BrokerNodeInstanceTy pe m5.xlarge Broker 节点 EC2 实例类型 21 Apache RocketMQ BrokerClusterCount 3 部署 Apache RocketMQ Broker 节点的数量 11 BrokerNodeI nstanceType BrokerNodeInstanceTy pe m5.xlarge Broker 节点的 EC2 Instance 的 类型 12 FlushDiskTyp e FlushDiskType ASYNC_FLUS H Apache 选择部署 Apache RocketMQ Nameserver 节点的数量。 15 NameServerI nstanceType NameServerInstanceTy pe m5.large Nameserver 节点的 EC2 实例 类型 16 RocketMQVe rsion RocketMQVersion 4.7.1 选择部署的 Apache RocketMQ