联合打造的分布式事务解决方案 京东数科-潘娟 panjuan@apache.org 2 github.com/apache?q=servicecomb servicecomb.apache.org Apache ShardingSphere生态 1 Apache ShardingSphere事务体系 2 Apache ServiceComb-saga 3 分布式事务解决方案的合作与探索 4 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务解决方案 电商 技术 金融 16 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务解决方案 电商 技术 金融 17 github.com/apache?q=servicecomb servicecomb

494 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495 12.7.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496 12.7.3 中间件加密服务优势 . 即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量 数据的场景。 从性能方面来说，由于关系型数据库大多采用 B+ 树类型的索引，在数据量超过阈值的情况下，索引深度 的增加也将使得磁盘访问的 IO 据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到 不同的数据库中，从而将压力分散至不同的数据库。下图展示了根据业务需要，将用户表和订单表垂直 分片到不同的数据库的方案。 垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且， 它也并无法真正的解决单点瓶颈。垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂 直

473 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 12.7.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475 12.7.3 中间件加密服务优势 . 即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量 数据的场景。 从性能方面来说，由于关系型数据库大多采用 B+ 树类型的索引，在数据量超过阈值的情况下，索引深度 的增加也将使得磁盘访问的 IO 据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到 不同的数据库中，从而将压力分散至不同的数据库。下图展示了根据业务需要，将用户表和订单表垂直 分片到不同的数据库的方案。 垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且， 它也并无法真正的解决单点瓶颈。垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂 直

Apache ShardingSphere ElasticJob document ElasticJob 通过弹性调度、资源管控、以及作业治理的功能，打造一个适用于互联网场景的分布式调度解 决方案，并通过开放的架构设计，提供多元化的作业生态。它的各个产品使用统一的作业 API，开发者仅 需一次开发，即可随意部署。 ElasticJob 已于 2020 年 5 月 28 日成为 Apache 于面向业务编码设计；同时，它也能够解放运维工程师，使他们不必再担心任务的可用性和相关管理需 求，只通过轻松的增加服务节点即可达到自动化运维的目的。 ElasticJob 定位为轻量级无中心化解决方案，使用 jar 的形式提供分布式任务的协调服务。 2 2 功能列表 • 弹性调度 – 支持任务在分布式场景下的分片和高可用 – 能够水平扩展任务的吞吐量和执行效率 – 任务处理能力随资源配备弹性伸缩 开启失效转移功能，ElasticJob 会监控作业每一分片的执行状态，并将其写入注册中心，供其他节点感知。 在一次运行耗时较长且间隔较长的作业场景，失效转移是提升作业运行实时性的有效手段；对于间隔较 短的作业，会产生大量与注册中心的网络通信，对集群的性能产生影响。而且间隔较短的作业并未见得 关注单次作业的实时性，可以通过下次作业执行的重分片使所有的分片正确执行，因此不建议短间隔作 业开启失效转移。 另外需要注意的是，作业本身的幂等性，是保证失效转移正确性的前提。

520 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 521 12.7.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522 12.7.3 中间件加密服务优势 . 即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量 数据的场景。 从性能方面来说，由于关系型数据库大多采用 B+ 树类型的索引，在数据量超过阈值的情况下，索引深度 的增加也将使得磁盘访问的 IO 据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到 不同的数据库中，从而将压力分散至不同的数据库。下图展示了根据业务需要，将用户表和订单表垂直 分片到不同的数据库的方案。 垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且， 它也并无法真正的解决单点瓶颈。垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂 直

363 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 7.7.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 新上线业务 . . . . . . . 1.1.2 产品功能 特性 定义 数 据 分片 数据分片，是应对海量数据存储与计算的有效手段。ShardingSphere 提供基于底层数据库之 上，可计算与存储水平扩展的分布式数据库解决方案。 分 布 式 事 务 事务能力，是保障数据库完整、安全的关键技术，也是数据库的核心技术之一。ShardingSphere 提供在单机数据库之上的分布式事务能力，可实现跨底层数据源的数据安全。 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下，ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离，压 测获得测试结果可准确反应系统真实容量和性能水平。 1.1.3 产品优势 •

1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 258 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.5.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 新上线业务 . . . . . . . 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将

1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 269 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 7.5.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 新上线业务 . . . . . . . 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将

1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 253 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 7.5.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 新上线业务 . . . . . . . 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将

. . . . 76 处理流程详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 中间件加密服务优势 . . . . 120 环境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 测试方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 测试过程 . . . . ？ . . . . . . . . . . . . 292 viii 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar （规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能，可适用于如