2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 2015.10 Ø 项目启动 2016.01 Ø 正式开源 2016.08 Ø star突破1000 2018.02 Ø 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2

Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 应用广泛，已知70+公司的应用案例 发展历程 2015.10 项目启劢 2016.01 正式开源 2016.08 star突破1000 2018.02 京东数科加入 2018.05 成立社区 2018.11 进入Apache孵化器 2018.08 star突破5000 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 资源按需伸缩 自劢化部署&管理 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle

285 7.6 如果只有部分数据库分库分表，是否需要将不分库分表的表也配置在分片规则中？ . . . 285 7.7 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自增主键？ . . 286 vii 7.8 指 定 了 泛 型 为 Long 的 SingleKeyTableShardingAlgorithm， 遇 到 ClassCastException: 和 Sidecar （规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用 场景。 Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并 非实现一个全新的关系型数据库。关系型数据库当今依然 MySQL/PostgreSQL 使用。 • 适用于任何兼容 MySQL/PostgreSQL 协议的的客户端。 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh

. . . . . . . . . . . . . . . . . . . . . 425 xiii 8.3.9 分片 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自 增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425 8.4 数据加密 定位为透明化的数据库代理端，通过实现数据库二进制协议，对异构语言提供支 持。 1 Apache ShardingSphere document, v5.2.0 1.1.2 产品功能 特性 定义 数 据 分片 数据分片，是应对海量数据存储与计算的有效手段。ShardingSphere 提供基于底层数据库之 上，可计算与存储水平扩展的分布式数据库解决方案。 分 布 式 事 务 事务能 计算服务访问；同时可感知并利用底层数据库自身高可用实现整体的高可用能力。 数 据 迁移 数据迁移，是打通数据生态的关键能力。SharingSphere 提供基于数据全场景的迁移能力，可 应对业务数据量激增的场景。 联 邦 查询 联邦查询，是面对复杂数据环境下利用数据的有效手段之一。ShardingSphere 提供跨数据源 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全

• 连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere 简介 2 Apache ShardingSphere document, v5.0.0 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh

Integer can not cast to Long 异常。 . . . . 303 7.8.13 [分片] ShardingSphere 提供的默认分布式自增主键策略为什么是不连续的，且尾 数大多为偶数？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 7.8.14 [分片] 如何在 inline . . . . . . . . . . . . . . . . . . . . . . 304 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 7.8.17 [数据加密] • 连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式

Integer can not cast to Long 异常。 . . . . 307 7.8.13 [分片] ShardingSphere 提供的默认分布式自增主键策略为什么是不连续的，且尾 数大多为偶数？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307 7.8.14 [分片] 如何在 inline . . . . . . . . . . . . . . . . . . . . . . 308 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 7.8.17 [数据加密] • 连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式

Integer can not cast to Long 异常。 . . . . 318 7.8.13 [分片] ShardingSphere 提供的默认分布式自增主键策略为什么是不连续的，且尾 数大多为偶数？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 7.8.14 [分片] 如何在 inline . . . . . . . . . . . . . . . . . . . . . . 319 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 7.8.17 [数据加密] . . . . . . . . . . . . . . . . 325 7.8.31 [ShardingSphere‐JDBC] Oracle 表名、字段名配置大小写在加载 metadata 元数 据时结果不正确？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 7.9 API 变更历史 . .

ShardingSphere‐Proxy？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507 13.3.4 Proxy 使 用 第 三 方 数 据 库 工 具 连 接 ShardingSphere‐Proxy 时， 如 果 ShardingSphere‐Proxy 没有创建 Database 或者没有注册 Storage Unit，连 接失败？ . . . . . . . . . . . . . . . . . . . . . . . 510 13.4.9 分片 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自 增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510 13.5 DistSQL 议，对异构语言提供支 持。 1.2 产品功能 1.3 产品优势 • 极致性能 驱动程序端历经长年打磨，效率接近原生 JDBC，性能极致。 • 生态兼容 代理端支持任何通过 MySQL/PostgreSQL 协议的应用访问，驱动程序端可对接任意实现 JDBC 规范的数 据库。 1 Apache ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere

ShardingSphere‐Proxy？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486 13.3.4 Proxy 使 用 第 三 方 数 据 库 工 具 连 接 ShardingSphere‐Proxy 时， 如 果 ShardingSphere‐Proxy 没有创建 Database 或者没有注册 Storage Unit，连 接失败？ . . . . . . . . . . . . . . . . . . . . . . . 488 13.4.9 分片 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自 增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489 13.5 DistSQL 议，对异构语言提供支 持。 1.2 产品功能 1.3 产品优势 • 极致性能 驱动程序端历经长年打磨，效率接近原生 JDBC，性能极致。 • 生态兼容 代理端支持任何通过 MySQL/PostgreSQL 协议的应用访问，驱动程序端可对接任意实现 JDBC 规范的数 据库。 1 Apache ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere