实例⻆⾊，具有细化控制的 权限， 用于访问部署过程所需的 AMAZON WEB SERVICES 服务。 • (*) 安全组，用于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝（如 果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使用已有 的安全组）。 • 在私有⼦网中，一个可自定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ 群集，还 可以自定义 DHCP 选项中开启了域名选项配置集。 • 确保私有⼦网的路由表中存在 NAT 网关或 NAT 实例的路由，使得其拥有出 站 Internet 连接。 • 您必须创建堡垒主机及其关联的安全组以实现⼊站 SSH 访问 快速部署 本文的步骤主要针对在运⾏在由西云数据运营的 AMAZON WEB SERVICES（宁夏）区域 或由光环新网运营的 AMAZON WEB SERVIC IP 范 围。例如，您可能希望仅对公司 网 络 IP 段授予访问权限。如果 允许所有的外部主机访问，可以 设置为 0.0.0.0/0 Security Configuration 安全配置 11 Key Name KeyPairName 必填项 EC2 密钥对，用于连接 EC2 实 例。 Linux Bastion Configuration 堡垒机配置

AMAZON WEB SERVICES 服 务。 Page 5 of 21 • (*) 安全组，⽤于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝ （如果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使 ⽤已有的安全组）。 • 在私有⼦⽹中，⼀个可⾃定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ 群集，还 可以⾃定义 DHCP 选项中开启了域名选项配置集。 • 确保私有⼦⽹的路由表中存在 NAT ⽹关或 NAT 实例的路由，使得其拥有 出站 Internet 连接。 • 您必须创建堡垒主机及其关联的安全组以实现⼊站 SSH 访问 快速部署 本文的步骤主要针对在运行在由西云数据运营的亚马逊云科技（宁夏）区域或由光环 新网运营的亚马逊云科技（北京）区域中部署该解决方案，您可以使用以下链接快速 IP 范围。例如，您可能希望仅对公 司⽹ 络 IP 段授予访问权限。如 果允许所有的外部主机访问，可 以设置为 0.0.0.0/0 Security Configuration 安全配置 Page 10 of 21 11 Key Name KeyPairName 必填项 EC2 密钥对，⽤于连接 EC2 实 例。 Linux Bastion

优点：即使频繁调用，使用小块文件传输，效率也很高 缺点：丌能很好的利用 DMA 方式，会比 sendfile 多消耗 CPU，内存安全性控制复杂，需要避免 JVM Crash 问题。 2. 使用 sendfile 方式 优点：可以利用 DMA 方式，消耗 CPU 较少，大块文件传输效率高，无内存安全新问题。 缺点：小块文件效率低亍 mmap 方式，只能是 BIO 方式传输，丌能使用 NIO。 RocketMQ Header 迕行过滤，甚至可以挄照 Message Body 迕行过滤。 5. 使用 Java 诧言迕行作为过滤表达式是一个双刃剑，方便了应用的过滤操作，但是带来了服务器端的安全风险。 需要应用来保证过滤代码安全，例如在过滤程序里尽可能丌做申请大内存，创建线程等操作。避免 Broker 服 务器収生资源泄漏。 使用方式参见 Github 例子 https://github.com k 8 单次 Pull 消息（磁盘）传输的 最大条数 messageIndexEnable TRUE 是否开启消息索引功能 messageIndexSafe FALSE 是否提供安全的消息索引机 制，索引保证不丢 haMasterAddress 在 Slave 上直接设置 Master 地址，默认从 Name Server 上 自动获取，也可以手工强制配 置 brokerRole

200ms 的追加时间，导致排队中的任务等待时间超过了 200 ms，则此时会触发 broker 端的快速失败，让请求快速失败，便于客户端快速重试。但是 这种请求并不是实时的，而是每隔 10s 检查一遍。 值得注意的是，一旦出现 TIMEOUT_CLEAN_QUEUE，可能在一个点会有多个这 样的错误信息，具体多少与当前积压在待发送队列中的个数有关。 关于 [TIMEOUT_CLEAN_QUEUE]broker 执行写入请求时，客户端已经将这个请求超时了，这样不仅会造成大量的无效处理， 还会导致客户端发送超时。 故 RocketMQ 为了解决该问题，引入 Broker 端快速失败机制，即开启一个定时调 度线程，每隔 10 毫秒去检查队列中的第一个排队节点，如果该节点的排队时间已经超过了 200 ms，就会取消该队列中所有已超过 200ms 的请求，立即向客户端返回失败，这样客 户端能尽快进行重试，因为 Broker 都是集群部署，下次重试可以发送到其他 是否开启了自动创建 topic，参数 为：autoCreateTopicEnable,该参数默认为 true。但在生产环境不建议开启。  如果开启了自动创建路由信息，但还是抛出这个错误，这个时候请检查客户端( Producer)连接的 Nameserver 地址是否与 Broker 中配置的 nameserver 地址是否 一致。 经过上面的步骤，基本就能解决该错误。 二、消息发送超时

依赖服务随时可能在进行迁移或重启 • 对弹性的要求开始从物理资源变为逻辑资源 • IaaS 的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路，膨胀的技术栈 ……. 面向失败 松散耦合 基础设施解耦 极致弹性 多场景适应 低成本 高 SLA X 客户价值： X 多场景 S o m e t h i n g a b o u t 借力 APISIX 构建云原生接入体系 03 RocketMQ Gateway • logger • limit-count • 安全 借力 APISIX 构建云原生接入体系 借力 APISIX 构建云原生接入体系 借力 APISIX 构建云原生接入体系 借力 APISIX 构建云原生接入体系 借力 APISIX 构建云原生接入体系

⽆无法满⾜足⾼高并发场景 分布式事务解决⽅方案 SAGA 特点： 1. 提交+补偿 2. 并发隔离性很难保证 分布式事务解决⽅方案 TCC 特点： 1. 特殊的两阶段提交 2. Try阶段检查/锁定资源 没有真正提交 3. 增加了了⼀一个状态处理理，开发变复杂 4. CC需要幂等，能够⽀支持重试 5. 如果CC重试不不成功/超时，需要⼿手⼯工⼲干预 Apache RocketMQ

properties >> /Users/gitsilence/JavaTools/rocketmq/logs/broker/slave-broker-b.log & 启动完成后可以使用mqadmin检查 集群状态 /Users/gitsilence/JavaTools/rocketmq/rocketmq-4.9.2-SNAPSHOT/bin/mqadmin clusterList -n "192

CosnueQueue>> 每个 Consumequeue 利用 MapedFileQueue 把 mapedFile 组成一个逻辑上连续的队 列 d) 加载事物模块 e) 加载存储检查点 加载${user.home} \store\checkpoint 这个文件存储了 3 个 long 类型的值来记录存储 模型最终一致的时间点，这个 3 个 long 的值为 physicMsgTimestamp

用户请求 易 购物车 易 用户请求 红包火山 Notify+MetaQ Notify+MetaQ Notify+MetaQ 几十万条/秒 菜鸟蓄洪 天猫满返 交易买卖家 BCP 交易安全 钉钉 淘客 航旅 发布消息峰值：数千万条/秒 订阅消息峰值：数千万条/秒 堆积消息峰值：千亿条 消息中间件核心链路 1.4万亿 万亿洪峰下有哪些问题 机器假死 IO Util，Load飙高

用户请求 易 购物车 易 用户请求 红包火山 Notify+MetaQ Notify+MetaQ Notify+MetaQ 几十万条/秒 菜鸟蓄洪 天猫满返 交易买卖家 BCP 交易安全 钉钉 淘客 航旅 发布消息峰值：数千万条/秒 订阅消息峰值：数千万条/秒 堆积消息峰值：千亿条 消息中间件核心链路 1.4万亿 万亿洪峰下有哪些问题 机器假死 IO Util，Load飙高