2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 2015.10 Ø 项目启动 2016.01 Ø 正式开源 2016.08 Ø star突破1000 2018.02 Ø 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新

京东主导，多公司&社区参与推动 4 github.com/apache?q=servicecomb servicecomb.apache.org Apache ShardingSphere生态 电商 技术 金融 5 github.com/apache?q=servicecomb servicecomb.apache.org 数据分片 App2 DB App1 App3 App2 DB1 基于可靠消息 的事务 Partition tolerance 11 github.com/apache?q=servicecomb servicecomb.apache.org 事务对比 电商 技术 金融 本地事务 两阶段事务 柔性事务 业务改造 无 无 实现相关接口 一致性 不支持 强一致 最终一致 隔离性 不支持 原生支持 服务保证 并发性能 无影响 严重衰退 略微衰退 适合场景 org 分布式事务解决方案 电商 技术 金融 16 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务解决方案 电商 技术 金融 17 github.com/apache?q=servicecomb servicecomb.apache.org 接入端选择 技术 JDBC Proxy 数据库 任意

内 核 架 构 l ShardingSphere 可插拔架构提供了 数十个基于 SPI 的扩展点，开发者可 以十分方便的对功能进行定制化扩展； l 按照扩展点是基于技术还是基于功能 实现，可以将扩展点划分为功能扩展 点和技术扩展点。 l 基于扩展点，ShardingSphere 默认 实现了数据分片、读写分离、数据加 密、影子库压测、高可用等功能； 1. Apache ShardingSphere (TODO) 全链路压测 影子库 可观察性 数据网关 异构数据库支持 SQL 方言转换(TODO) 分 布 式 数 据 库 数 据 安 全 全 链 路 压 测 数 据 网 关 技术干货 加入交流群

. . . 324 运行测试用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325 7 技术参考 326 7.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 数据分片，是应对海量数据存储与计算的有效手段。ShardingSphere 提供基于底层数据库之 上，可计算与存储水平扩展的分布式数据库解决方案。 分 布 式 事 务 事务能力，是保障数据库完整、安全的关键技术，也是数据库的核心技术之一。ShardingSphere 提供在单机数据库之上的分布式事务能力，可实现跨底层数据源的数据安全。 读 写 分离 读写分离，是应对高压力业务访问的手段之一。ShardingSphere 协议的应用访问，驱动程序端可对接任意实现 JDBC 规范的数 据库。 • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。

453 运行测试用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453 ix 12 技术参考 455 12.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Apache ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 offline_table2, offline_table3 8.1. 数据分片 25 Apache ShardingSphere document 分布式主键 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实

. . 432 运行测试用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432 12 技术参考 434 12.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Apache ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 online_table2, online_table3, offline_table1, offline_table2, offline_table3 分布式主键 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实

. . 479 运行测试用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479 12 技术参考 481 12.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Apache ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 offline_table2, offline_table3 8.1. 数据分片 25 Apache ShardingSphere document 分布式主键 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实

6.12.1 ShadowAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 7 技术参考 223 7.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细 的路由到后缀为 1 的数据源，以此 类推。用于表示分片算法的行表达式为： ds${id % 10} 或者 ds$->{id % 10} 分布式主键 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实

6.15.2 PluginBootService . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 7 技术参考 222 7.1 管控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细 的路由到后缀为 1 的数据源，以此 类推。用于表示分片算法的行表达式为： ds${id % 10} 或者： ds$->{id % 10} 分布式主键 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实

6.15.2 PluginBootService . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 7 技术参考 217 7.1 管控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细 的路由到后缀为 1 的数据源，以此 类推。用于表示分片算法的行表达式为： ds${id % 10} 或者 ds$->{id % 10} 分布式主键 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实