2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2 2018年PostgreSQL中国技术大会 执行过程透明化 2018年PostgreSQL中国技术大会 分布式事务 2018年PostgreSQL中国技术大会 分布式事务 两（三）阶段事务 柔性事务 业务改造 无 实现补偿接口 回滚 支持 支持 一致性 强一致 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 2018年PostgreSQL中国技术大会

Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 资源按需伸缩 自劢化部署&管理 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle 内置规则：hash, range, tag, time  Java类：com.jd.XXXStrategy 执行过程透明化 分布式事务 分布式事务 两（三）阶段事务 柔性事务 业务改造 无 实现补偿接口 回滚 支持 支持 一致性 强一致 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低

2 金融行业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.3 数字化与云服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.4 出行 . . . . . . . ShardingSphere 的子项目。欢迎通过邮件列表参与讨论。 1 1 简介 使用 ElasticJob 能够让开发工程师不再担心任务的线性吞吐量提升等非功能需求，使他们能够更加专注 于面向业务编码设计；同时，它也能够解放运维工程师，使他们不必再担心任务的可用性和相关管理需 求，只通过轻松的增加服务节点即可达到自动化运维的目的。 ElasticJob 定位为轻量级无中心化解决方案，使用 基于有向无环图（DAG）的作业间依赖 – 基于有向无环图（DAG）的作业分片间依赖 • 作业开放生态 – 可扩展的作业类型统一接口 – 丰富的作业类型库，如数据流、脚本、HTTP、文件、大数据等 – 易于对接业务作业，能够与 Spring 依赖注入无缝整合 • 可视化管控端 – 作业管控端 – 作业执行历史数据追踪 – 注册中心管理 3 3 环境要求 3.1 Java 请使用 Java 8

. . . . . . . . . . . . . . . . . . . . . 291 7.21 在使用 sharing‐proxy 的时候，如何动态在 ShardingSphere‐UI 上添加新的 logic schema？291 7.22 在使用 ShardingSphere‐Proxy 时，怎么使用合适的工具连接到 ShardingSphere‐Proxy？ 291 7.23 引入 扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用 场景。 Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并 非实现一个全新的关系型数据库。关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未 来也难于撼动，我们更加注重在原有基础上提供增量，而非颠覆。 Apache ShardingSphere MySQL/PostgreSQL 使用。 • 适用于任何兼容 MySQL/PostgreSQL 协议的的客户端。 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh

. . . . . . . . . . . . . . . . . . . . . . . 259 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere document, v5.0.0 1.1.1 ShardingSphere-JDBC 简介 2 Apache ShardingSphere document, v5.0.0 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh

. . . . . . . . . . . . . . . . . . . . . . . 256 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere document, v5.1.0 1.1.1 ShardingSphere-JDBC 简介 2 Apache ShardingSphere document, v5.1.0 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh

. . . . . . . . . . . . . . . . . . . . . . . 261 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere document, v5.1.1 1.1.1 ShardingSphere-JDBC 简介 2 Apache ShardingSphere document, v5.1.1 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh

. . . . . . . . . . . . . . . . . . . . . . . 272 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere document, v5.1.2 1.1.1 ShardingSphere-JDBC 简介 2 Apache ShardingSphere document, v5.1.2 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh

. . . . . . . . . . . . . . . . . . . . . . . . 41 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 成熟业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 新上线业务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . hardingSphere 提供基于底层数据库之 上，可计算与存储水平扩展的分布式数据库解决方案。 分 布 式 事 务 事务能力，是保障数据库完整、安全的关键技术，也是数据库的核心技术之一。ShardingSphere 提供在单机数据库之上的分布式事务能力，可实现跨底层数据源的数据安全。 读 写 分离 读写分离，是应对高压力业务访问的手段之一。ShardingSphere 基于对

ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 • 开放生态 通过 ，同时 通过内置 DistSQL 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为 3 层，它们是：L1 ShardingSphere‐Proxy 这 2 款既能够独立部署，又 支持混合部署配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用 于如 Java 同构、异构语言、云原生等各种多样化的应用场景。 3.1 ShardingSphere-JDBC 独立部署 ShardingSphere‐JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。它使用客户端直连