. . . . . 17 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.1.5 相关参考 . . . . . . . . . 253 分片算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 分布式序列算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 负载均衡算法 . . . . . . 提供基于数据全场景的迁移能力，可 应对业务数据量激增的场景。 联 邦 查询 联邦查询，是面对复杂数据环境下利用数据的有效手段之一。ShardingSphere 提供跨数据源 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库

115 分片算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 分布式序列算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 负载均衡算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396 xi 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 产品定位为 Database Plus，旨在构建异构数据库上层的标准和生态。它关 注如何充分合理地利用数据库的计算和存储能力，而并非实现 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。

114 分片算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 分布式序列算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 负载均衡算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393 xi 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 产品定位为 Database Plus，旨在构建异构数据库上层的标准和生态。它关 注如何充分合理地利用数据库的计算和存储能力，而并非实现 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。

119 分片算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 分布式序列算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 负载均衡算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 xi 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 产品定位为 Database Plus，旨在构建异构数据库上层的标准和生态。它关 注如何充分合理地利用数据库的计算和存储能力，而并非实现 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 x 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 产品定位为 Database Plus，旨在构建多模数据库上层的标准和生态。它关 注如何充分合理地利用数据库的计算和存储能力，而并非实现 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 高可用 1.2. 解决方案 5 Apache ShardingSphere document, v5.0.0 1.3 线路规划 1.3. 线路规划 6 2 快速入门 本章节以尽量短的时间，为使用者提供最简单的 Apache ShardingSphere 的快速入门。 2.1 ShardingSphere-JDBC 2.1.1 1. 引入 maven 依赖

测试过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 sysbench 测试用例分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 附录 1 . . . . . . . . . . . . . 291 7.24 ANTLR 插件在 src 同级目录下生成代码，容易误提交，如何避免？ . . . . . . . . . . . . 292 viii 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar （规划中）这 3 款既能够独立部署，又支持 document, v5.0.0-beta 1.2.3 数据库治理 • 分布式治理 • 弹性伸缩 • 可视化链路追踪 • 数据加密 1.2. 功能列表 4 2 快速入门 本章节以尽量短的时间，为使用者提供最简单的 Apache ShardingSphere 的快速入门。 2.1 ShardingSphere-JDBC 2.1.1 1. 引入 maven 依赖

. . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 8.1.5 相关参考 . . . . . . . . . 381 分片算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384 分布式序列算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389 负载均衡算法 . . . . . . 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。

. . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 8.1.5 相关参考 . . . . . . . . . 409 分片算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411 分布式序列算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416 负载均衡算法 . . . . . . 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。

. . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 8.1.5 相关参考 . . . . . . . . . 363 分片算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366 分布式序列算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 负载均衡算法 . . . . . . 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。

的形式提供分布式任务的协调服务。 2 2 功能列表 • 弹性调度 – 支持任务在分布式场景下的分片和高可用 – 能够水平扩展任务的吞吐量和执行效率 – 任务处理能力随资源配备弹性伸缩 • 资源分配 – 在适合的时间将适合的资源分配给任务并使其生效 – 相同任务聚合至相同的执行器统一处理 – 动态调配追加资源至新分配的任务 • 作业治理 – 失效转移 – 错过作业重新执行 – 自诊断修复 • 作业依赖 替补执行。开启失效转移功能效果更好，如 果本次作业在执行过程中宕机，备机会立即替补执行。 5.2.4 实现原理 ElasticJob 并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。注 册中心仅用于作业注册和监控信息存储。而主作业节点仅用于处理分片和清理等功能。 弹性分布式实现 • 第一台服务器上线触发主服务器选举。主服务器一旦下线，则重新触发选举，选举过程中阻塞，只 通过重分片对当前作业分配进行 调整。举例说明，若作业以每小时为间隔执行，每次执行耗时 30 分钟。如下如图所示。 图中表示作业分别于 12:00，13:00 和 14:00 执行。图中显示的当前时间点为 13:00 的作业执行中。 如果作业的其中一个分片服务器在 13:10 的时候宕机，那么剩余的 20 分钟应该处理的业务未得到执行， 并且需要在 14:00 时才能再次开始执行下一次作业。