39 目标端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 数据迁移作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存量数据 . . . . . . . . 为了提供特定服务而集合在一起的多个节点。 源端 原始数据所在的存储集群。 目标端 原始数据将要迁移的目标存储集群。 数据迁移作业 把数据从某一个存储集群复制到另一个存储集群的完整流程。 存量数据 在数据迁移作业开始前，数据节点中已有的数据。 增量数据 在数据迁移作业执行过程中，业务系统所产生的新数据。 3.7.7 使用限制 支持项 • 将外围数据迁移至 Apache ShardingSphere name="mapperLocations" value="classpath*:META-INF/mappers/*.xml"/ > 0 码力 | 449 页 | 5.85 MB | 1 年前

3

. . . . . . . . . . . . . . . . . . . . . 5 4.2 作业开发 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4.3 作业配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 4.4 作业调度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5 概念 & 功能 7 5.1 调度模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 5.5 作业开放生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 5.5.1 作业接口 . . . . . . . . . . . . . . . . . . . . . . . .

iii 目标端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 数据迁移作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 存量数据 . . . . . . . . 为了提供特定服务而集合在一起的多个节点。 源端 原始数据所在的存储集群。 目标端 原始数据将要迁移的目标存储集群。 数据迁移作业 把数据从某一个存储集群复制到另一个存储集群的完整流程。 存量数据 在数据迁移作业开始前，数据节点中已有的数据。 增量数据 在数据迁移作业执行过程中，业务系统所产生的新数据。 8.6.7 使用限制 支持项 • 将外围数据迁移至 Apache ShardingSphere 语法用于查询数据迁移作业列表。 语法 ShowMigrationList ::= 'SHOW' 'MIGRATION' 'LIST' 返回值说明 列 说明 id 数据迁移作业 ID tables 迁移表 job_item_count 数据迁移作业分片数量 active 数据迁移作业状态 create_time 数据迁移作业创建时间 stop_time 数据迁移作业停止时间 示例

iii 目标端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 数据迁移作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 存量数据 . . . . . . . . 为了提供特定服务而集合在一起的多个节点。 源端 原始数据所在的存储集群。 目标端 原始数据将要迁移的目标存储集群。 数据迁移作业 把数据从某一个存储集群复制到另一个存储集群的完整流程。 存量数据 在数据迁移作业开始前，数据节点中已有的数据。 增量数据 在数据迁移作业执行过程中，业务系统所产生的新数据。 8.6.7 使用限制 支持项 • 将外围数据迁移至 Apache ShardingSphere 语法用于查询数据迁移作业列表。 语法 ShowMigrationList ::= 'SHOW' 'MIGRATION' 'LIST' 返回值说明 列 说明 id 数据迁移作业 ID tables 迁移表 job_item_count 数据迁移作业分片数量 active 数据迁移作业状态 create_time 数据迁移作业创建时间 stop_time 数据迁移作业停止时间 示例

iii 目标端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 数据迁移作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 存量数据 . . . . . . . . 为了提供特定服务而集合在一起的多个节点。 源端 原始数据所在的存储集群。 目标端 原始数据将要迁移的目标存储集群。 数据迁移作业 把数据从某一个存储集群复制到另一个存储集群的完整流程。 存量数据 在数据迁移作业开始前，数据节点中已有的数据。 增量数据 在数据迁移作业执行过程中，业务系统所产生的新数据。 8.6.7 使用限制 支持项 • 将外围数据迁移至 Apache ShardingSphere 语法用于查询数据迁移作业列表。 语法 ShowMigrationList ::= 'SHOW' 'MIGRATION' 'LIST' 返回值说明 列 说明 id 数据迁移作业 ID tables 迁移表 job_item_count 数据迁移作业分片数量 active 数据迁移作业状态 create_time 数据迁移作业创建时间 stop_time 数据迁移作业停止时间 示例

55 4.7.5 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 弹性伸缩作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 存量数据 . . . . . . . . ShardingSphere‐Scaling 从 4.1.0 版本开始向用户提供。当前处于 alpha 开发阶段。 4.7.5 核心概念 弹性伸缩作业 指一次将数据由旧规则迁移至新规则的完整流程。 存量数据 在弹性伸缩作业开始前，数据节点中已有的数据。 增量数据 在弹性伸缩作业执行过程中，业务系统所产生的新数据。 4.7.6 使用规范 支持项 • 将外围数据迁移至 Apache ShardingSphere Rule 列 说明 name 弹性伸缩配置名称 input 数据读取配置 output 数据写入配置 stream_channel 数据通道配置 completion_detector 作业完成检测算法配置 data_consistency_checker 数据一致性校验算法配置 示例 Sharding Table Rule SHOW SHARDING TABLE RULES

54 4.7.5 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 弹性伸缩作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 存量数据 . . . . . . . . ShardingSphere‐Scaling 从 4.1.0 版本开始向用户提供。当前处于 alpha 开发阶段。 4.7.5 核心概念 弹性伸缩作业 指一次将数据由旧规则迁移至新规则的完整流程。 存量数据 在弹性伸缩作业开始前，数据节点中已有的数据。 增量数据 在弹性伸缩作业执行过程中，业务系统所产生的新数据。 4.7.6 使用规范 支持项 • 将外围数据迁移至 Apache ShardingSphere Rule 列 说明 name 弹性伸缩配置名称 input 数据读取配置 output 数据写入配置 stream_channel 数据通道配置 completion_detector 作业完成检测算法配置 data_consistency_checker 数据一致性校验算法配置 示例 Sharding Table Rule SHOW SHARDING TABLE RULES

56 4.7.5 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 弹性伸缩作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 存量数据 . . . . . . . . ngsphere‐ kernel/shardingsphere‐data‐pipeline 4.7.5 核心概念 弹性伸缩作业 指一次将数据由旧规则迁移至新规则的完整流程。 存量数据 在弹性伸缩作业开始前，数据节点中已有的数据。 增量数据 在弹性伸缩作业执行过程中，业务系统所产生的新数据。 4.7.6 使用规范 支持项 • 将外围数据迁移至 Apache ShardingSphere Rule 列 说明 name 弹性伸缩配置名称 input 数据读取配置 output 数据写入配置 stream_channel 数据通道配置 completion_detector 作业完成检测算法配置 data_consistency_checker 数据一致性校验算法配置 示例 Sharding Table Rule SHOW SHARDING TABLE RULES

73 3.5.6 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 弹性伸缩作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 数据节点 . . . . . . . . 弹性伸缩的主要设计目标。 3.5.5 状态 当前处于 alpha 开发阶段。 3.5.6 核心概念 弹性伸缩作业 指一次将数据由旧分片规则伸缩至新分片规则的完整流程。 数据节点 同数据分片中的数据节点 存量数据 在弹性伸缩作业开始前，数据分片中已有的数据。 增量数据 在弹性伸缩作业执行过程中，业务系统所产生的新数据。 3.5.7 实现原理 原理说明 考虑到 Apache ShardingSphere 建伸缩作业工作 流，将一次弹性伸缩拆解为 4 个主要阶段 1. 准备阶段 2. 存量数据迁移阶段 3. 增量数据同步阶段 4. 规则切换阶段 执行阶段说明 准备阶段 在准备阶段，弹性伸缩模块会进行数据源连通性及权限的校验，同时进行存量数据的统计、日志位点的 记录，最后根据数据量和用户设置的并行度，对任务进行分片。 存量数据迁移阶段 执行在准备阶段拆分好的存量数据迁移作业，存量迁移阶段采用

55 4.6.5 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 弹性伸缩作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 存量数据 . . . . . . . . 版本开始向用户提供。当前处于 alpha 开发阶段。 4.6.5 核心概念 弹性伸缩作业 指一次将数据由旧规则迁移至新规则的完整流程。 存量数据 在弹性伸缩作业开始前，数据节点中已有的数据。 4.6. 弹性伸缩 55 Apache ShardingSphere document, v5.0.0 增量数据 在弹性伸缩作业执行过程中，业务系统所产生的新数据。 4.6.6 使用规范 支持项 • 3. 不受分片策略限制 同时也存在一定的缺点： 1. 在一定时间内存在冗余服务器 2. 所有数据都需要移动 弹性伸缩模块会通过解析旧分片规则，提取配置中的数据源、数据节点等信息，之后创建伸缩作业工作 流，将一次弹性伸缩拆解为 4 个主要阶段 1. 准备阶段 2. 存量数据迁移阶段 3. 增量数据同步阶段 4. 规则切换阶段 7.3.2 执行阶段说明 准备阶段 在准备阶段，弹