Apache ShardingSphere 高可用功能详解 & 实操演练 赵锦超 2022.08.06 01 赵锦超 Apache ShardingSphere Committer SphereEx 研发工程师 o 从事过电商、金融行业，热爱开源 o 目前专注于 Apache ShardingSphere 高可用 & 分布式治理的相关研发工作 02 Apache ShardingSphere

Apache ShardingSphere ElasticJob document Apache ShardingSphere 2023 年 11 月 01 日 Contents 1 简介 2 2 功能列表 3 3 环境要求 4 3.1 Java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 作业调度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5 概念 & 功能 7 5.1 调度模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 . . . 73 Casdoor 登录 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 功能列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 设计理念 . . . .

解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 快速入门 7 . 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L3 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 4 功能 17 4.1 数据库兼容 、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16

解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 快速入门 7 . 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 L3 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16

解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 快速入门 7 . 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 L3 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16

解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 快速入门 7 . 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 L3 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16

2 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 功能列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.1 数据分片 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar （规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用 场景。 Apache ShardingSphere 旨在充分合理

生态圈，它由Sharding- JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。 他们均提 供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容 器、云原生等各种多样化的应用场景。 当前版本：3.0 官网地址： https://shardingsphere.apache.org/index_zh.html 通过混合使用Sharding-JDBC和Sharding- Proxy，并采用同一注册中心统一配置分片策略，能够灵活的搭建适用于各种场景的应用系 统，架构师可以更加自由的调整适合于当前业务的最佳系统架构。 1.6 功能列表 数据分片 分库 & 分表 读写分离 分布式主键 分布式事务(Doing) XA强一致事务 柔性事务 数据库治理 配置动态化 熔断 & 禁用 调用链路追踪 SQL执行 通过多线程执行器异步执行。 结果归并 将多个执行结果集归并以便于通过统一的JDBC接口输出。结果归并包括流式归并、内存归并和 使用装饰者模式的追加归并这几种方式。 1.8 规划线路图

02 京东数科加入 2018.05 成立社区 2018.11 进入Apache孵化器 2018.08 star突破5000 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache New DB_0 New DB_1 Origin DB_1 New DB_2 New DB_3 增量数据 存量数据 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache 0.X 分布式事务 版本：3.1.X PostgreSQL Proxy 版本：4.X Sidecar 版本：4.X 弹性伸缩 版本：4.X 已完成 图例： 进行中 规划中 JDBC + 数据分片 版本：1.X 官网&官档 GitHub 采用公司 群&官微

2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere DB_0 New DB_1 Origin DB_1 New DB_2 New DB_3 增量数据 存量数据 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere Proxy 版本：3.0.X 分布式事务 版本：3.1.X PostgreSQL Proxy 版本：4.X Sidecar 版本：4.X 弹性伸缩 版本：4.X 已完成 图例： 进行中 规划中 JDBC + 数据分片 版本：1.X 2018年PostgreSQL中国技术大会 官网&官档 2018年PostgreSQL中国技术大会 GitHub 2018年PostgreSQL中国技术大会