10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 易 购物车 易 用户请求 红包火山 Notify+MetaQ Notify+MetaQ Notify+MetaQ 几十万条/秒 菜鸟蓄洪 天猫满返 交易买卖家 BCP 交易安全 钉钉

10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 易 购物车 易 用户请求 红包火山 Notify+MetaQ Notify+MetaQ Notify+MetaQ 几十万条/秒 菜鸟蓄洪 天猫满返 交易买卖家 BCP 交易安全 钉钉

message 先执⾏行行本地事务还是先发送消息？ 交易易型分布式事务的 RocketMQ使⽤用场景 分布式事务解决⽅方案 半消息 远程事务 特点： 1. 稳定，⽀支持⾼高并发 2. 回查机制可靠易易⽤用 3. 不不引⼊入额外的依赖 注意：回查⽅方法需要幂等 Broker 实现细节 Producer with PID TransactionListener executeLocalTransaction() Apache RocketMQ 存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud

• 无外部依赖，节点间松散耦合 • 自建及云上异构 IaaS 基础设施支持，降低成本 轻量级SDK： • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop 消费模式，多语言友好，易集成 从业务走向数据： • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无 binding • Broker和Store节点分离部署、独立扩缩

三、猜想与验证 根据上述理论分析我们得知设置 CONSUME_FROM_LAST_OFFSET 但并不是从 消息队列的最大偏移量开始消费的“罪魁祸首”是因为消息消费队列的最小偏移量为 0，如 果不为 0，则就会符合预期，我们来验证一下这个猜想。 首先我们删除 commitlog 目录下的文件，如图所示： 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 1.6 RocketMQ broker 假死，那么 3.110,3.111 的 nameserver 都能在 2 分 钟内感知 broker-a 宕机，然后客户端能成功从 nameserver 处获得最新的路由信息，如 果 nameserver 假死，出现超时错误，只要 broker 不宕机，则通过缓存，还是能正常工 作的，但如果 nanmeserver,broker 一起假死，则上述架构还是无法规避上面的问题。 故本次的最佳实践主要包含如下两条： 制，其 实现是在 for 循环中 使用 try catch 将 sendKernelImpl 方法包裹，就可以保证该方法 抛 出 异 常 后 能 继 续 重 试 。 从 上 文 可 知 ， 如 果 S Y S T E M _ B U S Y 会 抛 出 MQBrokerException，但发现只有上述几个错误码才会重试，因为如果不是上述错误码， 会继续向外抛出异常，此时 for 循环会被中断，即不会重试。

实例⻆⾊，具有细化控制的 权限， 用于访问部署过程所需的 AMAZON WEB SERVICES 服务。 • (*) 安全组，用于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝（如 果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使用已有 的安全组）。 • 在私有⼦网中，一个可自定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ 群集，还 可以自定义 AmazonLinuxHV M 堡垒机实例使用 AMI 的 Linux 发 ⾏版。您可以选择 Amazon Linux 、CentOS 或 Ubuntu Server。如 果您选择的是 CentOS，请确保 已订阅 AMAZON WEB SERVICES Marketplace 中的 CentOS AMI。 13 Bastion Instance Type

必填项 允许对堡垒主机进⾏外部 SSH 访问的 CIDR IP 范围。我们建 议您 将此值设置为受信任的 IP 范围。例如，您可能希望仅对公 司⽹ 络 IP 段授予访问权限。如 果允许所有的外部主机访问，可 以设置为 0.0.0.0/0 Security Configuration 安全配置 Page 10 of 21 11 Key

offsetTableMap 中的消费进 度， offsetTable 中 的 messagequeue 的 值 ， 在 update 的 时 候 如 果 没 有 对 应 的 Messagequeue 会构建， 但是也会 rebalance 的时候将没有分配到的 messagequeue 删除 rebalance 会将 offsettable 中没有分配到