RocketMQ-Console 使用运维命令不太直观，学习成本较大，为此 RocketMQ 官方提供了一个运维管理界 面 RokcetMQ-Console，用于对 RocketMQ 集群提供常用的运维功能，故本节主要讲 解如何在 Linux 环境安装 rocketmq-console。 RocketMQ 官方并未提供 rocketmq-console 的安装包，故需要通过源码进行编译。 Step1：下载源码 HA 核心工作机制 1.4 RocketMQ HA 核心工作机制 温馨提示：建议参考代码 RocketMQ4.4 版本，4.5 版本引入了多副本机制，实现了 主从自动切换，本文并不关心主从切换功能。 一、初识主从同步 主从同步基本实现过程如下图所示： RocketMQ 的主从同步机制如下：  首先启动 Master 并在指定端口监听；  客户端启动，主动连接 Master，建立 客户端收到一批消息后，将消息写入本地 commitlog 文件中，然后向 Master 汇报拉 取进度，并更新下一次待拉取偏移量；  然后重复第 3 步； RocketMQ 主从同步一个重要的特征：主从同步不具备主从切换功能，即当主节点宕 机后，从不会接管消息发送，但可以提供消息读取。 本文并不会详细分析 RocketMQ 主从同步的实现细节，如大家对其感兴趣，可以查阅 笔者所著的《RocketMQ 技术内幕》或查看笔者博文：https://blog

................................................................................... 46 一：Namesrv 功能 .................................................................................................. ackIndex 来标记 成功消费到哪里了 消费失败， ackIndex 设置为-1 广播模式发送失败的消息丢弃， 广播模式对于失败重试代价过高，对整个集 群性能会有较大影响，失败重试功能交由应用处理 集群模式， 将消费失败的消息一条条的发送到 broker 的重试队列中去，如果 此时还有发送到重试队列发送失败的消息，那就在 cosumer 的本地线程定时 5 秒钟以后重试重新消费消息， processQueue 的 lock 属性是否为 true，lock 属性是否过期，如果为 false 或者过期， 放到本地线程稍后锁定在消费。 如果 lock 为 true 且没有过期，开始消费消息 计算任务执行的时间如果大于一分钟且线程数小于队列数情况下，将 processqueue， messagequeue 重新构建 ConsumeRequest 加到线程池 10ms 后在消费，这样防止个别队列被

二、Metaq 2.x 亍 2012 年 10 月份上线，在淘宝内部被广泛使用。 三、RocketMQ 3.x 基亍公司内部开源共建原则， RocketMQ 项目只维护核心功能，丏去除了所有其他运行时依赖，核心功能最 简化。每个 BU 的个性化需求都在 RocketMQ 项目乀上迕行深度定制。RocketMQ 吐其他 BU 提供的仁仁是 Jar 包，例如要定制一个 Broker，那举只需要依赖 条消息。 在 CORBA Notification 规范中，无此消费方式。 在 JMS 规范中，JMS point-to-point model 不乀类似，但是 RocketMQ 的集群消费功能大等亍 PTP 模型。 因为 RocketMQ 单个 Consumer Group 内的消费者类似亍 PTP，但是一个 Topic/Queue 可以被多个 Consumer Group 消费。 要有一台机器丌可用，则整个集群都丌可用，服务可用性大大降低。 如果服务器部署为同步双写模式，此缺陷可通过备机自劢切换为主避免，丌过仍然会存在几分钟的服务丌 可用。（依赖同步双写，主备自劢切换，自劢切换功能目前迓未实现） 目前已知的应用只有数据库 binlog 同步强依赖严格顺序消息，其他应用绝大部分都可以容忍短暂乱序，推 荐使用普通的顺序消息。  Message Queue 项目开源主页：https://github

rocketm q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 + RocketMQ 发展历程 W r i t e h e r e S o 多场景 云原生时代的挑战 云原生四要素 云原生时代的 RocketMQ admin 富客户端 轻量级 SD K API兼容 计算 云存储 VPC 网络 Kubernetes Name Server Name Server Name Server 计算集群 可观测 remoting gRPC MQTT AMQP AC L 消息 事件 Subscription 多租户 Store 轻量级SDK： • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop 消费模式，多语言友好，易集成 从业务走向数据： • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无 binding • Broker和Store节点分离部署、独立扩缩 • 可分可合，适应多种业务场景，降低运维负担 云原生基础设施：

computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ConsumerGroupB Consumer RocketMQ 存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面

和孵化项目组织，宣布Apache®RocketMQ™从Apache孵化器毕业成为顶级项目，这表明该项目的 区和产品已根据ASF的精英流程和原则得到了很好的管理。 现今，Apache RocketMQ在社区各方面的努力下，茁壮发展，很多功能都得到了加强。 RocketMQ的技术概览 在我们看来，它最大的创新点在于能够通过精巧的横向、纵向扩展，不断满足与日俱增的海量消息在 吞吐、高可靠、低延迟方面的要求。 目前RocketMQ主要 目前RocketMQ主要由NameServer、Broker、Producer以及Consumer四部分构成，如下图所示。 原文链接：Apache RocketMQ 介绍 NameServer以轻量级的方式提供服务发现和路由功能，每个NameServer存有全量的路由信息，提 对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多

tag（可选）。 2. 再点击下一步检查对应参数。 3. 在最后的审核⻚面中，勾选最下方的【我确认，AMAZON CloudFormation 可能创建 IAM 资源】以及【我确认，可能需要以下功能】选择框，点击【创建堆栈】，开始堆 栈的创建。 等待约 15 分钟，堆栈创建完成后您可以看到父堆栈和嵌套堆栈的创建状态，点击【输 出】标签栏您将看到创建的资源细节。 步骤四：查看堆栈

tag（可选）。 2. 再点击下⼀步检查对应参数。 3. 在最后的审核⻚⾯中，勾选最下⽅的【我确认，Amazon CloudFormation 可能创 建 IAM 资源】以及【我确认，可能需要以下功能】选择框，点击【创建堆栈】，开始 堆栈的创建。 等待约 15 分钟，堆栈创建完成后您可以看到父堆栈和嵌套堆栈的创建状态，点击【输 出】标签栏您将看到创建的资源细节。