Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 ⾼高性能，分布式 • ⾼高并发 • 消息堆积 • Apache顶级项⽬目 发展历史 2013� Open Source Massive accumulation Orderly messaging 2014� Industry Ready 194.2 billion messages transferring in Singles��Day and widely used 5.0 Cloud-native, computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA

Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望

.................. 5 二：Producer 如何发送消息 ................................................................................................... 6 2.1 producer 发送普通消息 .................................... .......................... 7 2.2 顺序消息发送 ............................................................................................................ 7 2.3 分布式事物消息 ................................... ..................... 9 三：Broker 落地消息 ............................................................................................................. 11 2.1 普通消息落地 ..................................

OpenShift distributed tracing 平台来监控、网络性能分析，并对现代、云原生的微服务应用程 序中组件间的交互进行故障排除。 使用分布式追踪平台，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 分布式追踪平台由三个组件组成： Red Hat OpenShift distributed tracing Platform (Jaeger)，它基于开源 OpenShift distributed tracing 平台来监控、网络性能分析，并对现代、云原生的微服务应用程 序中组件间的交互进行故障排除。 使用分布式追踪平台，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 分布式追踪平台由三个组件组成： Red Hat OpenShift distributed tracing Platform (Jaeger)，它基于开源 OpenShift distributed tracing 平台来监控、网络性能分析，并对现代、云原生的微服务应用程 序中组件间的交互进行故障排除。 使用分布式追踪平台，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 分布式追踪平台由三个组件组成： OpenShift Container Platform 4.14 分布式追踪 分布式追踪 8 Red Hat OpenShift

资源成本 等等都需要同时满足（和传统CAP相悖） • 接入层需要能够根据规则的路由，以及兼容各类协议接 口以及数据模型，并能根据应用的规模来自动拓展。 • 实现HTAP(OLTP+OLAP)，将在线事务|分析混合计算模型 基础上，实现多模数据模型，使得集成成本经一步降低。 • 计算层，与存储彻底剥离开来，实际是微服务化架构， 可以自由伸缩，并自动故障转移，采用读写分离，适应 高负荷的场景。另外也需要进一步将计算和内存分离出 供了一个范本，并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据，支持高吞吐量实时入库及数据实时查询，实现数据资源 智慧化运营。 优势 低成本存储： 支持PB级数据存储 物联网数据存储和查询 将车联网数据、设备监控数据、客流分析管控数据、交通数据、传感器数据实时 写入HBase中，分析结果输出到用户的监控前端系统展示，实现物联网数据的实时 监控分析。 优势 易接入： 轻松对接消息系统、流计算系统 高并发： 满足千万级并发访问 存算分离： 按需分别订购计算与存储，成本低、故障恢复快 利用HTAP模式，可以将查询和分析合并 起来，更加节约成本，并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全

服务，以收集与服务架构相关的信息。您可以使用分 布式追踪来监控、网络性能分析，并对现代、云原生的基于微服务的应用中组件之间的交互进行故障排 除。 通过分布式追踪，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 Red Hat OpenShift distributed tracing 包括两个主要组件： Red Hat OpenShift distributed distributed tracing 可让您执行分 布式追踪，在组成一个应用程序的多个微服务间记录请求的路径。 分布式追踪是用来将不同工作单元的信息关联起来的技术，通常是在不同进程或主机中执行的，以便理解 分布式事务中的整个事件链。开发人员可以视觉化在大型微服务架构中调用的流程。它对理解序列化、并 行性和延迟来源有价值。 Red Hat OpenShift distributed tracing 记录了在微服 服务，以收集与服务架构相关的信息。您可以使用分 布式追踪来监控、网络性能分析，并对现代、云原生的基于微服务的应用中组件之间的交互进行故障排 除。 通过分布式追踪，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 Red Hat OpenShift distributed tracing 包括两个主要组件： Red Hat OpenShift distributed

语开始： master、 slave、blacklist 和 whitelist。这些更改将在即将发行的几个发行本中逐渐实施。有关更多详情，请参阅我 们的首席技术官 Chris Wright 提供的消息。 1.2.2. 新功能及功能增强 第 第 1 章 章 SERVICE MESH 2.X 3 此版本对以下方面进行了改进。 1.2.2.1. Red Hat OpenShift Service OSSM-1655 Kiali 仪表板在 SMCP 中启用 mTLS 后显示错误。 在 SMCP 中启用 spec.security.controlPlane.mtls 设置后，Kiali 控制台会显示以下错误消息 No subsets defined。 OSSM-1505 只有在 OpenShift Container Platform 4.11 中使用 ServiceMeshExtension 资源时 337047686:SSL routines:tls_process_server_certificate:certificate verify failed OSSM-1099 Kiali 控制台显示消息 Sorry, there was a problem.Try a refresh or navigate to a different page. OSSM-1074 Pod 注解没有在 pod

Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes Hyperthreading 允许⼩数。具有 spec.containers[].resources.requests.cpu=0.5 的容器，保证其所需的CPU资源是需要 1cpu 容器资 源的⼀半。表达式 0.1 等价于表达式 100m ，可看作“100millicpu”。有些⼈说“100 millicore”，表达的也是⼀个意思。 具有⼩数点的请求（如 0.1 ，会由API转换为 PodExceedsFreeCPU and possi bly others 在上述示例中，由于Node上的CPU资源不⾜，名为“frontend”的Pod⽆法调度。 如果内存不⾜，也可能会导致失败，并 提示类似的错误消息（PodExceedsFreeMemory）。⼀般来说，如果⼀个Pod处于pending状态，并带有这种类型的消 息，有⼏件事情要尝试： 向集群添加更多Node。 终⽌不需要的Pod，为处于pending的Pod腾出空间。