453 运行测试用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453 ix 12 技术参考 455 12.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Apache ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 据

. . 432 运行测试用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432 12 技术参考 434 12.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Apache ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 据

. . 479 运行测试用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479 12 技术参考 481 12.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Apache ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 据

. . . 324 运行测试用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325 7 技术参考 326 7.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 数据分片，是应对海量数据存储与计算的有效手段。ShardingSphere 提供基于底层数据库之 上，可计算与存储水平扩展的分布式数据库解决方案。 分 布 式 事 务 事务能力，是保障数据库完整、安全的关键技术，也是数据库的核心技术之一。ShardingSphere 提供在单机数据库之上的分布式事务能力，可实现跨底层数据源的数据安全。 读 写 分离 读写分离，是应对高压力业务访问 基于无状态服务，提供高可用 计算服务访问；同时可感知并利用底层数据库自身高可用实现整体的高可用能力。 数 据 迁移 数据迁移，是打通数据生态的关键能力。SharingSphere 提供基于数据全场景的迁移能力，可 应对业务数据量激增的场景。 联 邦 查询 联邦查询，是面对复杂数据环境下利用数据的有效手段之一。ShardingSphere 提供跨数据源 的复杂数据查询分析能力，简化并提升数据使用体验。 数

6.12.1 ShadowAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 7 技术参考 223 7.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 据

6.15.2 PluginBootService . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 7 技术参考 222 7.1 管控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 据

6.15.2 PluginBootService . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 7 技术参考 217 7.1 管控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 据

一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 8 Apache ShardingSphere document, v5.0.0-beta 垂直分片 行归类，分布到 不同的数据库中，从而将压力分散至不同的数据库。下图展示了根据业务需要，将用户表和订单表垂直 分片到不同的数据库的方案。 垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且， 它也并无法真正的解决单点瓶颈。垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂 直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。 的路由到后缀为 1 的数据源，以此 类推。用于表示分片算法的行表达式为： ds${id % 10} 或者 ds$->{id % 10} 分布式主键 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实

6.15.2 PluginBootService . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 7 技术参考 233 7.1 管控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 4.3. 数据分片 24 Apache ShardingSphere document, v5.1.2 垂直分片

2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 2015.10 Ø 项目启动 2016.01 Ø 正式开源 2016.08 Ø star突破1000 2018.02 Ø 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新