二、消息订阅模型 在 RocketMQ 的消息消费模式采用的是发布与订阅模式。 topic：一类消息的集合，消息发送者将一类消息发送到一个主题中，例如订单模块将 订单发送到 order_topic 中，而用户登录时，将登录事件发送到 user_login_topic 中。 consumegroup：消息消费组，一个消费单位的“群体”，消费组首先在启动时需要 订阅需要消费的 topic。一个 topic ig/consumerOffset.json 是其具体的存储文件，其中内容截图如下： 可见消费进度的 Key 为：topic@consumeGroup，然后每一个队列一个偏移量。 广播模式的消费进度文件存储在用户的主目录，默认文件全路劲名：${USER_HOM E}/.rocketmq_offsets。 4. 消费模型 RocketMQ 提供了并发消费、顺序消费两种消费模型。 并发消费：对一个队列中 经过上面的步骤，就成功在 Linux 环境上安装了 RocketMQ Nameserver 服务器与 Broker 服务器。 温馨提示：如果上面在安装过程中发生了错误，大家可以查看{user_home}为用户主 目录。 该目录下会有众多的日志文件，如果一开始对这些文件的含义不了解也没关系，大家可 以通过 ls -l 命令，逐一查看文件大小不为０的文件，从而寻找错误日志，便于快速解决 问题。 RocketMQ

queue 如何实现把顺序消息发送到同一个 queue: 一般消息是通过轮询所有队列发送的，顺序消息可以根据业务比如说订单号 orderId 相同的消息发送到同一个队列, 或者同一用户 userId 发送到同一队列等等 messageQueueList [orderId%messageQueueList.size()] messageQueueList [userId%messageQueueList commit 方法 获取 msgTreeMapTemp 的最后一个 key，表示提交的 offset 清空 msgTreeMapTemp 的消息，已经成功消费 2） 事物提交，由用户来控制提交回滚（精卫专用） 更新消费进度， 这里的更新只是一个内存 offsetTable 的更新，后面有定时任务定时更 新到 broker 上去 group_name", "writeQueueNums":1 }, "TopicTest":{ "perm":6, // 100 读权限 , 10 写权限 6 是 110 读写权限 "readQueueNums":8, "topicFilterType":"SINGLE_TAG", "topicName":"TopicTest"

部署以下资源。如果您选择的是将此方案部署 到已有 VPC 中，将跳过 (不创建) 带有星号（*）的组件，并提⽰ 您目前现有的配置。 按照默认 RocketMQ 的部署参数部署完成后，该方案会在用户的 AMAZON WEB SERVICES account 下部署如下的一个架构，包含两个 Nameserver 互为备份，三个 Broker Instance 每个 Broker Instance 4 台。通过堡垒主机访 问私有⼦网 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management (IAM) 实例⻆⾊，具有细化控制的 权限， 用于访问部署过程所需的 AMAZON WEB SERVICES 服务。 • (*) 安全组，用于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝（如 果您选 择的是启动在已有 VPC 必填项 允许对堡垒主机进⾏外部 SSH 访 问的 CIDR IP 范围。我们建议您 将此值设置为受信任的 IP 范 围。例如，您可能希望仅对公司 网 络 IP 段授予访问权限。如果 允许所有的外部主机访问，可以 设置为 0.0.0.0/0 Security Configuration 安全配置 11 Key Name KeyPairName 必填项

部署以下资源。如果您选择的 是将此⽅案部署到已有 VPC 中，将跳过 (不创建) 带有星号（*）的组件，并提⽰ 您⽬ 前现有的配置。 按照默认 RocketMQ 的部署参数部署完成后，该方案会在用户的亚马逊云科技账户下 部署如下的一个架构，包含两个 Nameserver 互为备份，三个 Broker Instance 每个 Broker Instance 上面启动三个 Broker 实例，每个 4 台。通过堡垒主 机访问私有⼦⽹ 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management (IAM) 实例⻆⾊，具有细 化控制的权限， ⽤于访问部署过程所需的 AMAZON WEB SERVICES 服 务。 Page 5 of 21 • (*) 安全组，⽤于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝ 必填项 允许对堡垒主机进⾏外部 SSH 访问的 CIDR IP 范围。我们建 议您 将此值设置为受信任的 IP 范围。例如，您可能希望仅对公 司⽹ 络 IP 段授予访问权限。如 果允许所有的外部主机访问，可 以设置为 0.0.0.0/0 Security Configuration 安全配置 Page 10 of 21 11

Message Tag Hashcode 8 Byte 图表 7-1RocketMQ 队列 (1). 所有数据单独存储到一个 Commit Log，完全顺序写，随机读。 (2). 对最终用户展现的队列实际只存储消息在 Commit Log 的位置信息，幵丏串行方式刷盘。 项目开源主页：https://github.com/alibaba/RocketMQ 17 返样做的好处如下： 在有 RAID 卡，SAS 15000 转磁盘测试顺序写文件，速度可以达到 300M 每秒左史，而线上的网卡一般都为千兆 网卡，写磁盘速度明显快亍数据网络入口速度，那举是否可以做到写完内存就吐用户迒回，由后台线程刷盘呢？ (1). 由亍磁盘速度大亍网卡速度，那举刷盘的迕度肯定可以跟上消息的写入速度。 (2). 万一由亍此时系统压力过大，可能堆积消息，除了写入 IO，迓有读叏 IO，万一出现磁盘读叏落后情冴， 直接迒回，而同步刷盘需要等待刷盘完成才迒回， 同步刷盘流程如下： (1). 写入 PAGECACHE 后，线程等待，通知刷盘线程刷盘。 (2). 刷盘线程刷盘后，唤醒前端等待线程，可能是一批线程。 (3). 前端等待线程吐用户迒回成功。 项目开源主页：https://github.com/alibaba/RocketMQ 20 7.3 消息查询 7.3.1 挄照 Message Id 查询消息 消息所属Broker地址

多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 易 购物车 易 用户请求 红包火山 Notify+MetaQ Notify+MetaQ Notify+MetaQ 几十万条/秒 菜鸟蓄洪 天猫满返 交易买卖家 BCP 交易安全

多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 易 购物车 易 用户请求 红包火山 Notify+MetaQ Notify+MetaQ Notify+MetaQ 几十万条/秒 菜鸟蓄洪 天猫满返 交易买卖家 BCP 交易安全

保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。 Producer由用户进行分布式部署，消息由Producer通过多种负载均衡模式发送到Broker集群，发送 延时，支持快速失败。 Consumer也由用户部署，支持PUSH和PULL两种消费模式，支持集群消费和广播消息，提供实时的 息订阅机制，满足大多数消费场景。 特点 ● Ro

诸如IoT/IIoT新场景下的规模化部署能⼒力力不不⾜足 • HTTP/RESTful/JSON 灵活调⽤用，监控及运维能⼒力力不不⾜足 • Cloud云⼚厂商⽅方⾯面 • 不不同云⼚厂商之间消息产品互操作性成本较⾼高，⽤用户跨云⼚厂商迁移难 • 云上与云下产品的⽆无缝衔接能⼒力力差 云原⽣生与业界标准 OpenMessaging AMQP • 简单灵活 • 云原⽣生 • ⼚厂商中⽴立 • 语⾔言⽆无关