联合打造的分布式事务解决方案 京东数科-潘娟 panjuan@apache.org 2 github.com/apache?q=servicecomb servicecomb.apache.org Apache ShardingSphere生态 1 Apache ShardingSphere事务体系 2 Apache ServiceComb-saga 3 分布式事务解决方案的合作与探索 4 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务解决方案 电商 技术 金融 16 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务解决方案 电商 技术 金融 17 github.com/apache?q=servicecomb servicecomb

. . . . 76 处理流程详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 中间件加密服务优势 . . . . 同级目录下生成代码，容易误提交，如何避免？ . . . . . . . . . . . . 292 viii 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar （规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能，可适用于如 概念 & 功能 本章节阐述 Apache ShardingSphere 相关的概念与功能，更多使用细节请阅读用户手册。 3.1 数据分片 3.1.1 背景 传统的将数据集中存储至单一数据节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足 互联网的海量数据场景。 从性能方面来说，由于关系型数据库大多采用 B+ 树类型的索引，在数据量超过阈值的情况下，索引深度 的增加也将使得磁盘访问的

3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 256 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258 7.4.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 新上线业务 . . . . . . v5.0.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 防 火 墙 （TODO） 高可用 1.2. 解决方案 5 Apache ShardingSphere

363 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 7.7.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 新上线业务 . . . . . . 1.1.2 产品功能 特性 定义 数 据 分片 数据分片，是应对海量数据存储与计算的有效手段。ShardingSphere 提供基于底层数据库之 上，可计算与存储水平扩展的分布式数据库解决方案。 分 布 式 事 务 事务能力，是保障数据库完整、安全的关键技术，也是数据库的核心技术之一。ShardingSphere 提供在单机数据库之上的分布式事务能力，可实现跨底层数据源的数据安全。 提供跨数据源 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下，ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离，压 测获得测试结果可准确反应系统真实容量和性能水平。 1.1.3 产品优势

3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 258 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.5.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 新上线业务 . . . . . . v5.1.1 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 防 火 墙 （TODO） 高可用 1.2. 解决方案 5 Apache ShardingSphere

3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 253 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 7.5.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 新上线业务 . . . . . . v5.1.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 防 火 墙 （TODO） 高可用 1.2. 解决方案 5 Apache ShardingSphere

3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 线路规划 269 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 7.5.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 新上线业务 . . . . . . v5.1.2 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 防 火 墙 （TODO） 高可用 1.2. 解决方案 5 Apache ShardingSphere

494 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495 12.7.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496 12.7.3 中间件加密服务优势 . 求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量 数据的场景。 从性能方面来说，由于关系型数据库大多采用 B+ 树类型的索引，在数据量超过阈值的情况下，索引深度 的增加也将使得磁盘访问的 IO 部分。例如：根据主 键分片，偶数主键的记录放入 0 库（或表），奇数主键的记录放入 1 库（或表），如下图所示。 水平分片从理论上突破了单机数据量处理的瓶颈，并且扩展相对自由，是数据分片的标准解决方案。 8.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题，但分布式的架构在获得了收益的同时，也 引入了新的问题。 面对如此散乱的分片之后的数据，应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其

473 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 12.7.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475 12.7.3 中间件加密服务优势 . 求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量 数据的场景。 从性能方面来说，由于关系型数据库大多采用 B+ 树类型的索引，在数据量超过阈值的情况下，索引深度 的增加也将使得磁盘访问的 IO 部分。例如：根据主 键分片，偶数主键的记录放入 0 库（或表），奇数主键的记录放入 1 库（或表），如下图所示。 水平分片从理论上突破了单机数据量处理的瓶颈，并且扩展相对自由，是数据分片的标准解决方案。 8.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题，但分布式的架构在获得了收益的同时，也 引入了新的问题。 面对如此散乱的分片之后的数据，应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其

520 加密处理过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 521 12.7.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522 12.7.3 中间件加密服务优势 . 求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量 数据的场景。 从性能方面来说，由于关系型数据库大多采用 B+ 树类型的索引，在数据量超过阈值的情况下，索引深度 的增加也将使得磁盘访问的 IO 部分。例如：根据主 键分片，偶数主键的记录放入 0 库（或表），奇数主键的记录放入 1 库（或表），如下图所示。 水平分片从理论上突破了单机数据量处理的瓶颈，并且扩展相对自由，是数据分片的标准解决方案。 8.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题，但分布式的架构在获得了收益的同时，也 引入了新的问题。 面对如此散乱的分片之后的数据，应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其