Apache ShardingSphere 高可用功能详解 & 实操演练 赵锦超 2022.08.06 01 赵锦超 Apache ShardingSphere Committer SphereEx 研发工程师 o 从事过电商、金融行业，热爱开源 o 目前专注于 Apache ShardingSphere 高可用 & 分布式治理的相关研发工作 02 Apache ShardingSphere ShardingSphere 高可用介绍 Apache ShardingSphere 本身不提供数据库高可用的能力，它通过第三方提供的高可用方案感知 数据库主从关系的切换。Apache ShardingSphere 提供数据库发现的能力，自动感知数据库主从 关系，并修正计算节点对数据库的连接。 目前支持的高可用方案 : • MySQL MGR 单主模式 • MySQL 主从复制模式 • openGauss

侯阳 2022年1月15日 01 SphereEx 中间件研发工程师 Apache ShardingSphere Contributor 目前专注于 Shadow DB 及全链路压测相关的设计和研发 Apache ShardingSphere 发展和现状 Apache ShardingSphere 架构设计 Apache ShardingSphere Roadmap 1.x (2016) 全链路压测：流量规划，比如双 11，618 等 灰度发布：指定测试用户的体验版本发布 服务预热：预热数据隔离 对比测试：基于版本的对比测试 Shadow DB Scenes 4.1.1 Shadow DB API rules: - !SHADOW column: shadowMappings: ds: shadow_ds Shadow DB 重构的原因 5.0.0 Shadow DB API Shadow Datasource 影子数据源 用于存储隔离数据的数据源。 压力测试尽量与生产数据库一 致。 功能测试和灰度测试可以使用 相同数据库。 Shadow Table 影子表 压测业务涉及相关的表我们称 为影子表。压测相关业务场景 需要很多基础信息比如字典表 等，并不会产生压测数据。影 子库只需要创建产生压测数据 的影子表即可。 Shadow Algorithm 影子算法

联合打造的分布式事务解决方案 京东数科-潘娟 panjuan@apache.org 2 github.com/apache?q=servicecomb servicecomb.apache.org Apache ShardingSphere生态 1 Apache ShardingSphere事务体系 2 Apache ServiceComb-saga 3 分布式事务解决方案的合作与探索 q=servicecomb servicecomb.apache.org Apache ShardingSphere简介 完全开源 Apache的首个分布式数据库中间件 gitHub近8000star，近百家公司的成功落地案例 核心功能：数据分片&分布式事务&数据库治理 多接入端选择 京东主导，多公司&社区参与推动 4 github.com/apache?q=servicecomb org 分布式事务的需求体现 垂直拆分 水平拆分 混合拆分 本地事务 分布式事务 单机部署 10 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务概述 金融 CAP原则 Consistency 2PC事务 XA Availability BASE事务 saga TCC 基于可靠消息 的事务 Partition

1.1.2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 产品功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 产品优势 3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.2 L2 功能层 . . . . . 15 7.2.4 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 8 功能 18 8.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.1.2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 产品功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 产品优势 3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.2 L2 功能层 . . . . . 15 7.2.4 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 8 功能 18 8.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.1.2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 产品功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 产品优势 3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.2 L2 功能层 . . . . . 15 7.2.4 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 8 功能 18 8.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1.2 产品功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.3 产品优势 . . . . 4 1.2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 L2 功能层 . . . . . . . . . . 12 2.2.4 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3 功能 14 3.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 功能列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.1 数据分片 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . 62 支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . .

. 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L3 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 4 功能 17 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . 44 支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . .

. 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 L3 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.6 特性支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 MySQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 iii 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . .