. . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 8.1.5 相关参考 . . . . . . . . . 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。 接入端，可以满足高并发的 OLTP 场景下的性能要求。 海量数据实时分析 OLAP 场景 在传统的数据库架构中，如果用户想要进行数据分析，需要先使用 ETL 工具，将数据同步至数据平台中， 然后再进行数据分析，使用 ETL 工具会导致数据分析的实效性大打折扣。ShardingSphere‐Proxy 提供静 态入口以及异构语言的支持，独立于应用程序部署，适用于实时分析的 OLAP 场景。 8.1.5 相关参考

. . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 8.1.5 相关参考 . . . . . . . . . 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。 接入端，可以满足高并发的 OLTP 场景下的性能要求。 海量数据实时分析 OLAP 场景 在传统的数据库架构中，如果用户想要进行数据分析，需要先使用 ETL 工具，将数据同步至数据平台中， 然后再进行数据分析，使用 ETL 工具会导致数据分析的实效性大打折扣。ShardingSphere‐Proxy 提供静 态入口以及异构语言的支持，独立于应用程序部署，适用于实时分析的 OLAP 场景。 8.1.5 相关参考

. . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 8.1.5 相关参考 . . . . . . . . . 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。 接入端，可以满足高并发的 OLTP 场景下的性能要求。 海量数据实时分析 OLAP 场景 在传统的数据库架构中，如果用户想要进行数据分析，需要先使用 ETL 工具，将数据同步至数据平台中， 然后再进行数据分析，使用 ETL 工具会导致数据分析的实效性大打折扣。ShardingSphere‐Proxy 提供静 态入口以及异构语言的支持，独立于应用程序部署，适用于实时分析的 OLAP 场景。 8.1.5 相关参考

. . . . . 17 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.1.5 相关参考 . . . . . . . . . 提供基于数据全场景的迁移能力，可 应对业务数据量激增的场景。 联 邦 查询 联邦查询，是面对复杂数据环境下利用数据的有效手段之一。ShardingSphere 提供跨数据源 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 为应用提供标准化的连接方式。 1.2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 1.2. 设计哲学 4 Apache ShardingSphere document, v5.2.0 1.2.3 可插拔：构建数据库功能生态 Apache

测试过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 sysbench 测试用例分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 附录 1 . . . . . . . . . . . . ORDER_BY_DERIVED_0 FROM t_order ORDER BY user_id; 值得一提的是，补列只会补充缺失的列，不会全部补充，而且，在 SELECT 语句中包含 * 的 SQL，也会根 据表的元数据信息选择性补列。下面是一个较为复杂的 SQL 补列场景： 3.1. 数据分片 32 Apache ShardingSphere document, v5.0.0-beta SELECT 数据分片 37 Apache ShardingSphere document, v5.0.0-beta 需要在复用该数据库连接获取下一张分表的查询结果集之前，将当前的查询结果集全数加载至内存。因 此，即使可以采用流式归并，在此场景下也将退化为内存归并。 一方面是对数据库连接资源的控制保护，一方面是采用更优的归并模式达到对中间件内存资源的节省，如 何处理好两者之间的关系，是 ShardingSphere

数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细分，单一数据库再也无法适用于所有的应用场景。 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 给使用者，在不同的场景用使用最适合的分布式事务解决方案。 本地事务 支持项 • 完全支持非跨库事务，例如：仅分表，或分库但是路由的结果在单库中； • 完全支持因逻辑异常导致的跨库事务。例如：同一事务中，跨两个库更新。更新完毕后，抛出空指 针，则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如：同一事务中，跨两个库更新，更新完毕后、未提 交之前，第一个库宕机，则只有第二个库数据提交，且无法回滚。

数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细分，单一数据库再也无法适用于所有的应用场景。 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 给使用者，在不同的场景用使用最适合的分布式事务解决方案。 本地事务 支持项 • 完全支持非跨库事务，例如：仅分表，或分库但是路由的结果在单库中； • 完全支持因逻辑异常导致的跨库事务。例如：同一事务中，跨两个库更新。更新完毕后，抛出空指 针，则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如：同一事务中，跨两个库更新，更新完毕后、未提 交之前，第一个库宕机，则只有第二个库数据提交，且无法回滚。

数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细分，单一数据库再也无法适用于所有的应用场景。 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 给使用者，在不同的场景用使用最适合的分布式事务解决方案。 本地事务 支持项 • 完全支持非跨库事务，例如：仅分表，或分库但是路由的结果在单库中； • 完全支持因逻辑异常导致的跨库事务。例如：同一事务中，跨两个库更新。更新完毕后，抛出空指 针，则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如：同一事务中，跨两个库更新，更新完毕后、未提 交之前，第一个库宕机，则只有第二个库数据提交，且无法回滚。

数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细分，单一数据库再也无法适用于所有的应用场景。 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 给使用者，在不同的场景用使用最适合的分布式事务解决方案。 本地事务 支持项 • 完全支持非跨库事务，例如：仅分表，或分库但是路由的结果在单库中； • 完全支持因逻辑异常导致的跨库事务。例如：同一事务中，跨两个库更新。更新完毕后，抛出空指 针，则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如：同一事务中，跨两个库更新，更新完毕后、未提 交之前，第一个库宕机，则只有第二个库数据提交，且无法回滚。

} 配置作业导出端口 使用 ElasticJob 过程中可能会碰到一些分布式问题，导致作业运行不稳定。 由于无法在生产环境调试，通过 dump 命令可以把作业内部相关信息导出，方便开发者调试分析； 导出命令的使用请参见运维指南。 以下示例用于展示如何通过 SnapshotService 开启用于导出命令的监听端口。 public class JobMain { public static } 配置作业导出端口 使用 ElasticJob 过程中可能会碰到一些分布式问题，导致作业运行不稳定。 由于无法在生产环境调试，通过 dump 命令可以把作业内部相关信息导出，方便开发者调试分析； 导出命令的使用请参见运维指南。 以下示例用于展示如何通过 Spring 命名空间开启用于导出命令的监听端口。 6.3.2 导出作业信息 使用 ElasticJob 过程中可能会碰到一些分布式问题，导致作业运行不稳定。 由于无法在生产环境调试，通过 dump 命令可以把作业内部相关信息导出，方便开发者调试分析；另外 为了不泄露隐私，已将相关信息中的 IP 地址以 ip1, ip2⋯的形式过滤，可以在互联网上公开传输环境信 息，便于进一步完善 ElasticJob。 开启监听端口 使用 Java 开启导出端口配置请参见Java