Page 1 of 21 快速部署高可用的 Apache RocketMQ 集群 部署手册 顾明 版本：v1.2.0 最后更新时间: 2023 年 11 月 Copyright (c) 2021 by Amazon.com, Inc. or its affiliates. Page 2 of 21 .............................................................................................. 5 快速部署 ................................................................................................ RocketMQ 的需求，我们开发了一键部署的方案，帮助客户快速的在自己的账号部署 一个基于 EC2 的高可用的 RocketMQ 集群。 架构 Amazon CloudFormation 提供了⼀种创建和管理相关 AMAZON WEB SERVICES 资源的简便⽅法，并通过有序 且可预测的⽅式进⾏资源配置和更新。本快速⼊⻔提供 两种部署选项，⼀种是将 Apache RocketMQ

规范，规范为我们设计系统挃明了 方吐，但是仍有丌少问题规范没有提及，对亍消息中间件又至关重要。RocketMQ 幵丌遵循任何规范，但是参考了 各种规范不同类产品的设计思想。 2 产品发展历史 大约经历了三个主要版本迭代 一、Metaq（Metamorphosis） 1.x 由开源社区 killme2008 维护，开源社区非常活跃。 https://github.com/killme2008/Metamorphosis ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } 如以上代码所示，当某个队列的消息数堆积到 100000 条以上，则尝试丢弃部分戒全部消息，返样就可以快速 追上収送消息的速度。 14.3.4 优化每条消息消费过程 丼例如下，某条消息的消费过程如下 1. 根据消息从 DB 查询数据 1 2. 根据消息从 DB 查询数据 2 3

写写源码分析类文章，从整体上把控这个框架，这个花费时间较多，如果框架正在起步。 阶段，不建议该方法；如果框架比较成熟，非常建议采用该方法。  尝试看看开源项目中的 issues，看能不能解决，从问题入手，快速融入该项目。  尝试谢谢单元测试用例，测试驱动开发，借此学习该框架。 后面的事情就是坚持不懈，朝着目标不断前进，中途可以放慢速度，但千万别放弃，因 为只有坚持，才能胜利，只要前进，就离目标更近。 topic 中的消息，即分工协作，一 个消费者消费一部分数据，启动负载均衡， 集群模式是非常普遍的模式，符合分布式架构的基本理念，即横向扩容，当前消费者如 果无法快速及时处理消息时，可以通过增加消费者的个数横向扩容，快速提高消费能力，及 时处理挤压的消息。 2. 消费队列负载算法与重平衡机制 那集群模式下，消费者是如何来分配消息的呢？ 例如上面实例中 order_topic 有 16 Broker，就出 现了上述现象。 原因就分析到这里了，现在我们还可以的大胆假设，开启 autoCreateTopicEnable 机制，什么情况会在两个 Broker 上都创建队列，其实，我们只需要连续快速的发送 9 条消 息，就有可能在 2 个 Broker 上都创建队列，验证代码如下： public static void main(String[] args) throws MQClientException

.............................................................................................. 5 快速部署................................................................................................. RocketMQ 的需求，我们开发了一键部署的方案，帮助客户快速的在自己的账号 部署一个基于 EC2 的高可用的 RocketMQ 集群。 架构 AMAZON CloudFormation 提供了一种创建和管理相关 AMAZON WEB SERVICES 资源的简 便方法，并通过有序 且可预测的方式进⾏资源配置和更新。本快速⼊⻔提供两种部署 选项，一种是将 Apache RocketMQ 中，您需要提前创建此安全组或者使用已有 的安全组）。 • 在私有⼦网中，一个可自定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ 群集，还 可以自定义 Amazon EBS 存储的⼤⼩。快速⼊⻔将把副 本集启动在在不同的可用 区中。如果您选择的 AMAZON WEB SERVICES 区域 Page 5 of 18 为由光环新网运营的 AMAZON WEB

构成，如下图所示。 原文链接：Apache RocketMQ 介绍 NameServer以轻量级的方式提供服务发现和路由功能，每个NameServer存有全量的路由信息，提 对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。 Producer由用户进行分布式部署，消息由Producer通过多种负载均衡模式发送到Broker集群，发送 延时，支持快速失败。 Consumer也由用户部署，支持PUSH和PULL两种消费模式，支持集群消费和广播消息，提供实时的 息订阅机制，满足大多数消费场景。 特点 ● RocketMQ支持异步实时刷盘，同步 而Kafka最初被设计用来做日志处理，是一个不折不扣的大数据通道，追求高吞吐，存在丢消息的可 。其背后的研发团队也围绕着Kafka进行了商业包装，目前在一些中小型公司被广泛使用。 下表是一目了然的快速参考，可快速发现RocketMQ及其最受欢迎的替代产品之间的差异。 Messaging Product Client SDK Protocol and Specification Ordered Mess

Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战