2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新 ü 接入与运维成本低 2018年PostgreSQL中国技术大会 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 数据库治理 4

Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 资源按需伸缩 自劢化部署&管理 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 分布式数据库中间优势  底层数据库成熟性  增量持续革新  接入与运维成本低 数据库中间件应具备的能力

3 2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . 8.3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8.3.5 相关参考 . . . . . . . . . 8.3.7 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 8.4 数据库网关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 8.4.1 背景

生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 4 功能 17 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4.1.1 背景 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.2 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 生产数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 影子数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.2 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.3 数据库治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 快速入门 5 2.1 ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . 86 生产数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 影子数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285 7.5 inline 表达式返回结果为何出现浮点数？ . . . . . . . . . . . . . . . . . . . . . . . . . . 285 7.6 如果只有部分数据库分库分表，是否需要将不分库分表的表也配置在分片规则中？ . . . 285 7.7 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自增主键？ . . 286 vii

2 金融行业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.3 数字化与云服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.4 出行 . . . . . . . 行处理分片项与业务的对应关系。分片项为数字，始于 0 而终于分片总数减 1。 个性化分片参数 个性化参数可以和分片项匹配对应关系，用于将分片项的数字转换为更加可读的业务代码。 例如：按照地区水平拆分数据库，数据库 A 是北京的数据；数据库 B 是上海的数据；数据库 C 是广州的 数据。如果仅按照分片项配置，开发者需要了解 0 表示北京；1 表示上海；2 表示广州。合理使用个性化 参数可以让代码更可读，如果配置为 0= 北京,1= dis‐ abled 否 是否禁用此分片项 servers 节点 作业服务器信息，子节点是作业服务器的 IP 地址。可在 IP 地址节点写入 DISABLED 表示该服务器禁用。 在新的云原生架构下，servers 节点大幅弱化，仅包含控制服务器是否可以禁用这一功能。为了更加纯粹 的实现作业核心，servers 功能未来可能删除，控制服务器是否禁用的能力应该下放至自动化部署系统。 5

生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1.1 背景 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.6 特性支持 . . . ShardingSphere‐Proxy？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 7.8.7 [Proxy] 使用 Navicat 等第三方数据库工具连接 ShardingSphere‐Proxy 时，如果 ShardingSphere‐Proxy 没有创建 Schema 或者没有添加 Resource，连接失败？ . 302 7.8.8

生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1.1 背景 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.6 特性支持 . . . ShardingSphere‐Proxy？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 7.8.7 [Proxy] 使用 Navicat 等第三方数据库工具连接 ShardingSphere‐Proxy 时，如果 ShardingSphere‐Proxy 没有创建 Schema 或者没有添加 Resource，连接失败？ . 306 7.8.8

认识ShardingSphere ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding- JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。 他们均提 供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容 器、云原生等各种多样化的应用场景。 当前版本：3.0 官网地址： 定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包 形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种 ORM框架。 适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或 直接使用JDBC。 基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP BoneCP, Druid, HikariCP等。 支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和 PostgreSQL。 1.3 认识Sharding-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构 语言的支持。 目前先提供MySQL版本，它可以使用任何兼容MySQL协议的访问客户端(如： MySQL

生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1.1 背景 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.6 特性支持 . . . ShardingSphere‐Proxy？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 7.8.7 [Proxy] 使用 Navicat 等第三方数据库工具连接 ShardingSphere‐Proxy 时，如果 ShardingSphere‐Proxy 没有创建 Schema 或者没有添加 Resource，连接失败？ . 317 7.8.8