PolarDB-X 如 何 做 生 态兼 容 好的 MySQL 兼容性可以做到什么程度 胡中泉（舟济） 阿里云数据库解决方案架构师为什么要兼容 MySQL 01 The longer you look back, the farther you can look forward.也从阿里巴巴的“去IOE”运动说起 业务驱动下的分布式技术实践之路 5月17日，支付宝最后一台小型 机下线标志去IOE落下帷幕 MySQL Binlog 可行性 • 多节点产生多个增量事件队列 • 不同队列中事件之间的顺序 • 分布式事务完整性 • DDL 引起的多 Schema 版本问题 • 扩缩容引起的队列增减 ? Maxwell Debezium A: PolarDB-X 全局 Binlog：完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明：下游系统或工具改造成本为零 Binlog 完全一致体验 • 文件格式兼容：Binlog v4 row-based • SQL 指令兼容：show binary logs… • MySQL DUMP 协议 • 保证分布式事务完整性与顺序 • 同一连接串 已验证工具或系统 • MySQL Slave（change master） • DTS • Canal/CloudCanal • Maxwell • Debezium

概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 副本放置策略。 • Heartbeat: 心跳模块。跟chunkserver进行交互，收集chunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器，利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离：比如副本的放置分布在不同机器，不同机架，或是不同的交换机下面。 下，心跳的流量将会非常大；而引入CopySet的概念之后，可以以CopySet的粒度进行探活、配置变更，降低 开销。 3. 提高数据可靠性：在数据复制组过度打散的情况下，在发生多个节点同时故障的情况下，数据的可靠性会受 到影响。引入CopySet，可提高分布式存储系统中的数据持久性，降低数据丢失的概率。COPYSET ChunkServer，Copyset和Chunk三者之间的关系如下图： Mds在分

raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 什么是raft • raft 是一种新型易于理解的分布式一致性复制协议，由斯坦福大学的Diego Ongaro和John Ousterhout提出，《In Search of an Understandable Consensus Algorithm(Extended xos变种，提供了更完整更清晰的协议描述，更容易理解和实现。 • raft可以解决分布式理论中的CP，即一致性和分区容忍性 • 大多数副本成功即可返回成功 • 速度取决于写的较快的大多数RAFT协议简介 • Leader：负责从客户端接受日志，把日志复制到其 他服务器，当保证安全性的时候告诉其他服务器应用 日志条目到他们的状态机中。 • Candidate: 发起选举。获取大多数选票的候选人将 然后把执⾏的结果返回给客户端。 • 提供命令在多个节点之间有序复制和执行，当多个节 点初始状态一致的时候，保证节点之间状态一致。 raft日志复制RAFT协议简介 raft配置变更 • 配置：加入一致性算法的服务器集合。 • 集群的配置不可避免会发生变更，比如替换宕机的机器。 直接配置变更可能出现双主问题 • 共同一致（joint consensus） • 集群先切换到一个过渡的配置(old

各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力 以达到高可靠、高可用、高可扩分布式存储的要素 要 素 拆 解 数据分布 —— 无中心节点/中心节点 均 衡 地址空间的每段数据会分布在不同机器的磁盘上，如 何找到这些数据？ 可靠性 & 可用性 —— 多副本/EC 服务不可用时 间 数据一致性 —— 一致性协议 如何保证数据不丢？如何保证各种硬件故障的时候读 60 (8MB, 16MB) 50分布式存储的要素 — 一致性协议 多副本： 写三次？ 一致性协议 一致性：WARO（Write-all-read-one）、Quorum WARO • 所有副本写成功 • 读可用性高：可以读任一副本 • 写可用性较低，任一副本异常写失败 Quorum • 大多数副本写成功 • 读写服务可用性做一个折中 • 写性能提升，速度取决于写的较快的大多数

云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障 能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种处 理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 22.03 LTS 版本， 聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 2022 年 9 月 30 日，发布 openEuler 22.09 创新版本，充分释放多样性算力，持续深化全场景创新，打造极致迁移能力， 实现欧拉鸿蒙互联互通。 openEuler 作为一个操作系统发行版平台，每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的操 作系统。 09 长生命周期版本 创新版本 openEuler 社区主线 首个创新版 内核创新版 全场景版本 长生命周期版本：每两年发布一次， 在创新版本基础上提供长生命周期管理； 维护性能、可靠性和兼容性。 创新版本：长生命周期版本之间每 半年发布一次，集成 openEuler 以及其他社区最新版本技术进展 全场景长周期版 20.03 20.09 21.03 21.09 22.03 22.09

杂一些生产实践场景，希望对你有所帮助。 ? 本文作者：秦晓辉，Open-Falcon、Nightingale 等开源项目创始人之一，极客时间《运 维监控系统实战笔记》作者；当前在创业（快猫星云联创），为客户提供监控/可观测性产品 方案，有需求的朋友欢迎联系我的微信 picobyte。 数据类型 Prometheus 有四种数据类型：Gauge、Counter、Histogram、Summary，其中最关键的是 Gauge 出去的总的包量，都是很大的值，我们通常不太关注这个值当前是多少，更关注的是最近 1 分 钟收到/发出多少包，或者每秒收到/发出多少包。 1 2 3 4 5 6 7 8 而对于监控数据采集器而言，一般是周期性运行的，比如每 10 秒采集一次，每次采集网卡收 到/发出的包这个数据的时候，都只能采集到当前的值，就像执行 ifconfig 命令，每 10 秒执行 一次，每次都看到一个巨大的当前值，而且一次比 这个表格的内容，是这 5 台机器在当前这个时间点的最新值，当前我做查询的时刻是：2022- 08-25 15:48:03 用 Chrome 开发者工具可以看到发的请求参数： 但是，监控数据是周期性上报的，比如每 10 秒上报一次，在 2022-08-25 15:48:03 这个时 刻，未必恰好有监控数据啊，那这个 Table 中的数据是哪里来的？ 实际上，Prometheus 有个启动参数，--query

服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应 用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 09 长生命周期版本 创新版本 openEuler 社区主线 首个创新版 内核创新版 全场景版本 长生命周期版本：每两年发布一次， 在创新版本基础上提供长生命周期管理； 维护性能、可靠性和兼容性。 创新版本：长生命周期版本之间每 半年发布一次，集成 openEuler 以及其他社区最新版本技术进展 全场景长周期版 20.03 20.09 21.03 21.09 22.03 22.09 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于 内核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存，降 低宕机率，提升可靠性（技术预览特性）。

6 19.7 19.8 20 20.1 20.2 20.3 20.4 20.5 20.6 20.7 第十五章、例行性工作调度（crontab） 15.1 什么是例行性工作调度 15.2 仅执行一次的工作调度 15.3 循环执行的例行性工作调度 15.4 可唤醒停机期间的工作任务 15.5 重点回顾 15.6 本章习题 第十六章、程序管理与 SELinux 初探 开放源码的软件安装与升级简介 21.2 使用传统程序语言进行编译的简单范例 21.3 用 make 进行宏编译 21.4 Tarball 的管理与建议 21.5 函数库管理 21.6 检验软件正确性 21.7 重点回顾 21.8 本章习题 21.9 参考资料与延伸阅读 第二十二章、软件安装 RPM, SRPM 与 YUM 22.1 软件管理员简介 22.2 RPM 软件管理程序： rpm 看完并且消化过，那么未来在管理 Linux主机以及架设网站方面，就能够达到“事半功倍”的成 效，请不要忽略这些内容了！否则，再怎么讨论都是枉然的啦！^_^。 Linux的资料非常的 多，每份资料彼此的相关性都很强，要单独的一项一项讲解并不容易， 那么这本书件该怎么 看呢？建议先按照顺序将内容大致浏览过一次，看不懂的地方也可以先略过不要紧。 全部看 完之后，再从头开始“仔细”的实际操作过一遍，那应该就能够进入Linux的世界啰～

14.4 重点回顾 16.5. 14.5 本章习题 16.6. 14.6 参考资料与延伸阅读 17. 第十五章、例行性工作调度（crontab） 17.1. 15.1 什么是例行性工作调度 17.2. 15.2 仅执行一次的工作调度 17.3. 15.3 循环执行的例行性工作调度 17.4. 15.4 可唤醒停机期间的工作任务 17.5. 15.5 重点回顾 17.6. 15.6 本章习题 进行宏编译 23.4. 21.4 Tarball 的管理与建议 - 6 - 本文档使用 书栈(BookStack.CN) 构建 23.5. 21.5 函数库管理 23.6. 21.6 检验软件正确性 23.7. 21.7 重点回顾 23.8. 21.8 本章习题 23.9. 21.9 参考资料与延伸阅读 24. 第二十二章、软件安装 RPM, SRPM 与 YUM 24.1. 22.1 化过，那么 未来在管理 Linux主机以及架设网站方面，就能够达到“事半功倍”的成效，请不要忽略这些内容了！否则，再怎么讨 论都是枉然的啦！^_^。 Linux的资料非常的多，每份资料彼此的相关性都很强，要单独的一项一项讲解并不容易， 那么这本书件该怎么看呢？建议先按照顺序将内容大致浏览过一次，看不懂的地方也可以先略过不要紧。 全部看完之 后，再从头开始“仔细”的实际操作过一遍，那应该就能够进入Linux的世界啰～

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 11 版本兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 发 送 者、 主 动 agents 和 主 动 prox- ies 的 传 入 连 接。 至 少 要 运 行 一 个 trap- per 进 程 来 显 示 前 端 的 服 务 器 可 用 性 和 视 图 队 列。 在 版 本 1.8.5 之 前， 上 限 是 255。 42 参数必 范围 默认值 描述 StartVMwareCollectors no 0-250 0 vmware 描述 VMwarePerfFrequency no 10-86400 60 从 一 个 VMware 服 务 的 性 能 计 数 器 数 据 检 索 中 延 迟 几 秒。 该 延 迟 应 该 设 置 为 任 一 VMware 监 控 的监 控 项 （使 用 VMware 性 能 计 数 器） 最 小 更 新 间 隔。 Zabbix 2.2.9, 2.4.4 后 支 持 该 参 数。