Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 5.0 Cloud-native, computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ClientRemotingProcessor RouteInfoManager DefaultRequestProcessor Store Service RemotingCommand • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件

所有生产部署都必须使用三个 control plane 节点。 master 上属于 Kubernetes 类别的服务包括 Kubernetes API 服务器、etcd、Kubernetes 控制器管理器和 Kubernetes 调度程序。 表 表 4.1. 在 在 control plane 上 上运 运行的 行的 Kubernetes 服 服务 务 组 组件 件 描述 描述 Kubernetes 为集群的共享状态提供了一个焦点。 etcd etcd 存储持久 master 状态，其他组件则监视 etcd 的更改，以使其自身进 入指定状态。 Kubernetes 控制器管理器 Kubernetes 控制器管理器监视 etcd 是否有对象的更改，如复制、命名空 间，务帐户控制器对象，然后使用 API 来强制实施指定的状态。多个这样 的过程会创建在某个时间点上有一个活跃群首的集群。 Kubernetes 服务器由 OpenShift API Server Operator 管理。 OpenShift 控制器管理器 OpenShift 控制器管理器监视 etcd 是否有 OpenShift 对象的更改，如项 目、路由和模板控制器对象，然后使用 API 来强制实施指定的状态。 OpenShift 控制器管理器由 OpenShift Controller Manager Operator 管 理。 OpenShift

所有生产部署都必须使用三个 control plane 节点。 master 上属于 Kubernetes 类别的服务包括 Kubernetes API 服务器、etcd、Kubernetes 控制器管理器和 Kubernetes 调度程序。 表 表 5.1. 在 在 control plane 上 上运 运行的 行的 Kubernetes 服 服务 务 组 组件 件 描述 描述 Kubernetes 为集群的共享状态提供了一个焦点。 etcd etcd 存储持久 master 状态，其他组件则监视 etcd 的更改，以使其自身进 入指定状态。 Kubernetes 控制器管理器 Kubernetes 控制器管理器监视 etcd 是否有对象的更改，如复制、命名空 间，务帐户控制器对象，然后使用 API 来强制实施指定的状态。多个这样 的过程会创建在某个时间点上有一个活跃群首的集群。 Kubernetes 服务器由 OpenShift API Server Operator 管理。 OpenShift 控制器管理器 OpenShift 控制器管理器监视 etcd 是否有 OpenShift 对象的更改，如项 目、路由和模板控制器对象，然后使用 API 来强制实施指定的状态。 OpenShift 控制器管理器由 OpenShift Controller Manager Operator 管 理。 OpenShift

实战）？ 下定决心后便开始了我的源码分析 RocketMQ 之旅，大概在 4 个多月的时间中连续 发表了 30 余篇文章，从 Nameserver、消息发送高可用设计、消息存储、消息消费、消 息过滤、事务消息等各个方面对其进行了体系化的剖析，边写边分享，边分享边传播，终于 得到了机械工业出版社华章分社的杨福川老师的认可，邀请我出书。 在杨老师和张工的帮助与指点下，经过将近半年的努力，书稿基本完稿。由于我当时是 消费会 积压。 三、事务消息 事务消息并不是为了解决分布式事务，而是提供消息发送与业务落库的一致性，其实现 原理就是一次分布式事务的具体运用，请看如下示例： 上述伪代码中，将订单存储关系型数据库中和将消息发送到 MQ 这是两个不同介质的 两个操作，如果能保证消息发送、数据库存储这两个操作要么同时成功，要么同时失败， RocketMQ 为了解决该问题引入了事务消息。 温馨提示，本节主 温馨提示，本节主要的目的是让大家知晓各个术语的概念，由于事务消息的使用，将在 该专栏的后续文章中详细介绍。 四、定时消息 开源版本的 RocketMQ 目前并不支持任意精度的定时消息。所谓的定时消息就是将消 息发送到 Broker，但消费端不会立即消费，而是要到指定延迟时间后才能被消费端消费。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 17 > 1.1 RocketMQ 核心概念扫盲篇

自定义调整示例 4.7. 支持的 TUNED 守护进程插件 第 第 5 章 章 使用 使用 CPU MANAGER 和拓扑管理器 和拓扑管理器 5.1. 设置 CPU MANAGER 5.2. 拓扑管理器策略 5.3. 设置拓扑管理器 5.4. POD 与拓扑管理器策略的交互 第 第 6 章 章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 可伸 可伸缩 缩性和性能 性和性能 18 Operator 状态错误日志 警告 警告 自动清除可能会导致各种 OpenShift 核心组件中的领导选举失败，如 Kubernetes 控 制器管理器，这会触发重启失败的组件。重启会有危害，并会触发对下一个正在运行 的实例的故障切换，或者组件在重启后再次恢复工作。 成功 成功进 进行碎片 行碎片处 处理的日志 理的日志输 输出示例 出示例 进 HiperSockets、z/VM VSwitch、Linux 网桥 (KVM) 的优势，以确定哪个选项为您的设置带来最大 好处。 始终使用最新可用的 NIC 版本。例如，OSA Express 7S 10 GbE 与带有事务工作负载类型的 OSA Express 6S 10 GbE 相比有显著改进，尽管两者都是 10 GbE 适配器。 每个虚拟交换机都添加了额外的延迟层。 负载平衡器在集群外的网络通信中扮演重要角色

华为云容器网格数据面技术专家 拥有10年以上中间件及高性能系统开发经验， 作为架构师及核心开发人员发布过传输网管系 统、Tuxedo交易中间件、ts-server多媒体转码服 务、GTS高性能事务云服务、SC高性能注册中心、 ASM数据面等多个产品。先后就职于亿阳信通、 北电、甲骨文、polycom、阿里巴巴等公司；目 前在华为云云原生团队负责网格数据面的架构 设计及开发工作。 Copyright 接。 • 之后对于此连接的所有处理都在此线程进行，包括下游数据集解码，路由选择、上游数据编 码发送等。 • 同时此工作线程还要处理定期观测信息与主线程同步（通过异步加回调）、线程内配置及集 群管理器状态更新等工作。 • 请求完成后延迟释放内存，解决本次事件处理中回调所引用对象可以被安全访问，并在下次 事件处理中安全删除。 admin连接 数据面连接 主 机 健 康 检 查 看 门 狗 当收到节点变化EDS消息时，需要通知到工作线程内新上线、下线主机。 • 4. Envoy使用前面提到的TLS方式实现集群状态更新，集群管理器保存一个TLS slot ，类型为ThreadLocalClusterManagerImpl。 当节点变化、DNS解析更新、健康状态变化时，将调用集群管理器的postThreadLocalClusterUpdate方法 • 5. 此方法将延迟调用所有线程内ThreadLoc

VMotion™ 和 VMware Storage VMotion - VMware VMotion 可以将正 在运行的虚拟机从一个物理服务器实时迁移到另一台物理服务器，同时保持零停机 时间、连续的服务可用性和事务处理完整性。 VMware Storage VMotion 可以在数 据存储之间迁移虚拟机文件而无需中断服务。 � VMware High Availability (HA) - 一种可以为虚拟机上运行的应用程序提供易于 Revert to snapsho （恢复快照） 将活动虚拟机的状态恢复到其直接的父快照。该父快照是显示在快照管理器中 [ 您 在此处 (You Are Here)] 图标正左边的快照。另请参见 “Go to snapshot （进入快 照）”、“Snapshot manager （快照管理器）”和 “You Are Here icon （[ 您在此 处 (You Are Here)] 图标）”。 启动、关闭还是挂起状态。可以在任何时刻执行虚拟机快照，并可以恢复到任何时 刻的快照。可以在虚拟机启动、关闭或挂起时执行快照。可以将虚拟机配置为从快 照中排除指定的磁盘。 Snapshot manager （快照管理器） 用于对选定虚拟机的快照执行任何操作的控件。另请参见 “snapshot （快照）”。 suspend （挂起） 保存正在运行的虚拟机的当前状态。要让挂起的虚拟机回到操作状态，可使用恢复 功能。另请参见

上执行，而这个系统可能需要几 十个不同服务的共同参与才可以做出相应的响应。这个请求的路径是一个分布式的事务。分布式追踪平台 可让您执行分布式追踪，在组成一个应用的多个微服务间追踪请求的路径。 分布式追踪是用来将不同工作单元的信息关联起来的技术，通常是在不同进程或主机中执行的，以便理解 分布式事务中的整个事件链。分布式追踪可让开发人员在大型服务架构中视觉化调用流程。它对理解序列 化、平行和延迟来源会很有价值。 服务，以收集与服务架构相关的信息。您可以使用分 布式追踪来监控、网络性能分析，并对现代、云原生的基于微服务的应用中组件之间的交互进行故障排 除。 通过分布式追踪，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 Red Hat OpenShift distributed tracing 包括两个主要组件： Red Hat OpenShift distributed 志记录提供数据库存 储。它基于开源 Elasticsearch 项目。 Red Hat OpenShift distributed tracing 平台 - 提供分布式追踪以监控复杂分布式系统中的事务 并进行故障排除。它基于开源 Jaeger 项目。 Kiali - 为您的服务网格提供可观察性。允许您在单个控制台中查看配置、监控流量和分析追踪。 它基于开源 Kiali 项目。 Red Hat

需要生命周期管理。 当您要移交应用程序供其他人使用时，请考虑创建 Operator。Operator 可 帮助您构建智能功能，自动处理备份和升级之类的事务。与 Operator Lifecycle Manager (OLM) 相结合，集群管理器可以将 Operator 公开给选定命名空间，以便集群中的用户可以运行它们。 具有标识或编号要求。应用程序可能具有标识或编号要求。 例如，您可能需要运行应用程序的三 Operator）可以自动发生，并且不为 Operator 用户所见。 例如，设置为在特定时间自动备份数据的 Operator 就非常实用。让 Operator 在设定的时间管理应用程序 备份，可以使系统管理员免于记忆这些事务。 传统上手动完成的任何应用程序维护（如备份数据或轮转证书）都可以借助 Operator 自动完成。 OpenShift Container Platform 4.2 架 架构 构 22 第 crictl CLI 工具来处理 CRI-O 容器引擎 中的容器和 Pod。虽然不建议在 RHCOS 中直接使用这些工具，但可以把它们用于调试目的。 RHCOS 具有使用 rpm-ostree 系统进行事务升级的功能。更新是通过容器镜像交付的，并且是 OpenShift 更新过程的一部分。部署之后，拉取、提取容器镜像并将其写入磁盘，然后修改启动加载程序 以启动到新版本。机器将以滚动方式重启并进入更新，确保对集群容量的影响最小。

需要生命周期管理。 当您要移交应用程序供其他人使用时，请考虑创建 Operator。Operator 可 帮助您构建智能功能，自动处理备份和升级之类的事务。与 Operator Lifecycle Manager (OLM) 相结合，集群管理器可以将 Operator 公开给选定命名空间，以便集群中的用户可以运行它们。 具有标识或编号要求。应用程序可能具有标识或编号要求。 例如，您可能需要运行应用程序的三 Operator）可以自动发生，并且不为 Operator 用户所见。 例如，设置为在特定时间自动备份数据的 Operator 就非常实用。让 Operator 在设定的时间管理应用程序 备份，可以使系统管理员免于记忆这些事务。 传统上手动完成的任何应用程序维护（如备份数据或轮转证书）都可以借助 Operator 自动完成。 OpenShift Container Platform 4.3 架 架构 构 22 第 CRI-O 容器引擎中的容器和 Pod。虽然不建议在 RHCOS 中直接使用这 些工具，但可以把它们用于调试目的。 rpm-ostree 升 升级 级：RHCOS 具有使用rpm-ostree 系统进行事务升级的功能。更新是通过容器镜 像交付的，并且是 OpenShift Container Platform 更新过程的一部分。部署之后，拉取、提取容 器镜像并将其写入磁盘，然后修改启动加载程序以启动到新版本。机器将以滚动方式重启并进入