Apache RocketMQ 从入门到实战LinkedListcsListMinute 一分钟的快照信息,该 List 只会存储 6 个元素,每 10s 记录一次调用快照,超过 6 条,则移除第一条,这个将在下文介绍。 LinkedList csListHour 一小时的快照信息,该 List 只会存储 6 个元素,每 10 分钟记录一次快照,超过 6 条, 则移除第一条。 LinkedList LinkedList csListDay 一天的快照新,该 List 只会存储 24 个元素,每 1 小时记录一次快照,超过 24 条,则 移除第一条。 了解了上述存储结构后,代码@2,最终其实调用的就是 StatsItemSet 的 getStat sDataInMinute 方法。 StatsItemSet#getStatsDataInMinute public StatsSnapshot statsSnapshot.setTps(tps); statsSnapshot.setAvgpt(avgpt); } return statsSnapshot; } 代码@1:首先取快照中的第一条消息。 代码@2:取快照列表中的最后一条消息。 代码@3:计算这两个时间点 value 的差值,即这段时间内新增的总数。 代码@4:计算这段时间内的 tps,即每秒处理的消息条数。 代码@5:计算 avgpt 0 码力 | 165 页 | 12.53 MB | 1 年前3
万亿级数据洪峰下的消息引擎Apache RocketMQ不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制,秒级隔离 03 容量保障,限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request 4万亿 在线熔断机制 ①消息服务器 ②消息服务器 ③消息服务器 ④消息服务器 应用 规则 1. 最多只能隔离 30%的机器。 2. 响应时间过长, 开始隔离1分钟 3. 调用抛异常隔 离1分钟 4. 如果隔离的服 务器超过30%, 则有部分调用 会进入隔离列 表中最早隔离 的机器 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估0 码力 | 35 页 | 993.29 KB | 1 年前3
万亿级数据洪峰下的消息引擎 Apache RocketMQ不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制,秒级隔离 03 容量保障,限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request 4万亿 在线熔断机制 ①消息服务器 ②消息服务器 ③消息服务器 ④消息服务器 应用 规则 1. 最多只能隔离 30%的机器。 2. 响应时间过长, 开始隔离1分钟 3. 调用抛异常隔 离1分钟 4. 如果隔离的服 务器超过30%, 则有部分调用 会进入隔离列 表中最早隔离 的机器 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估0 码力 | 35 页 | 5.82 MB | 1 年前3
王强-Apache RocketMQ事务消息分布式事务解决⽅方案 XA 特点: 1. 两阶段提交 2. 仅商业化数据库⽀支持 3. ⽆无法满⾜足⾼高并发场景 分布式事务解决⽅方案 SAGA 特点: 1. 提交+补偿 2. 并发隔离性很难保证 分布式事务解决⽅方案 TCC 特点: 1. 特殊的两阶段提交 2. Try阶段检查/锁定资源 没有真正提交 3. 增加了了⼀一个状态处理理,开发变复杂 4. CC需要幂等,能够⽀支持重试0 码力 | 34 页 | 6.17 MB | 1 年前3
基于Apache APISIX 与RocketMQ 构建云原生一体化架构依赖服务随时可能在进行迁移或重启 • 对弹性的要求开始从物理资源变为逻辑资源 • IaaS 的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路,膨胀的技术栈 ……. 面向失败 松散耦合 基础设施解耦 极致弹性 多场景适应 低成本 高 SLA X 客户价值: X 多场景0 码力 | 22 页 | 2.26 MB | 1 年前3
共 5 条
- 1













