 Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日. . 52 作业统计 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 作业服务器状态展示 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 作业分片状态展示 API . . . . . . . 72 6.3.3 作业运行状态监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 监听作业服务器存活 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.3.4 运维平台 . . . . . . . . 行,每台任务服务器只运行分配给该 服务器的分片。随着服务器的增加或宕机,ElasticJob 会近乎实时的感知服务器数量的变更,从而重新为 分布式的任务服务器分配更加合理的任务分片项,使得任务可以随着资源的增加而提升效率。 任务的分布式执行,需要将一个任务拆分为多个独立的任务项,然后由分布式的服务器分别执行某一个 或几个分片项。 举例说明,如果作业分为 4 片,用两台服务器执行,则每个服务器分到0 码力 | 98 页 | 1.97 MB | 1 年前3 Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日. . 52 作业统计 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 作业服务器状态展示 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 作业分片状态展示 API . . . . . . . 72 6.3.3 作业运行状态监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 监听作业服务器存活 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.3.4 运维平台 . . . . . . . . 行,每台任务服务器只运行分配给该 服务器的分片。随着服务器的增加或宕机,ElasticJob 会近乎实时的感知服务器数量的变更,从而重新为 分布式的任务服务器分配更加合理的任务分片项,使得任务可以随着资源的增加而提升效率。 任务的分布式执行,需要将一个任务拆分为多个独立的任务项,然后由分布式的服务器分别执行某一个 或几个分片项。 举例说明,如果作业分为 4 片,用两台服务器执行,则每个服务器分到0 码力 | 98 页 | 1.97 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.1.1公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 次幂),那 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 4.3. 数据分片 34 Apache ShardingSphere document, v5.1.1 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管器可以通过 jar 形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 409 页 | 4.47 MB | 1 年前3 Apache ShardingSphere 中文文档 5.1.1公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 次幂),那 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 4.3. 数据分片 34 Apache ShardingSphere document, v5.1.1 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管器可以通过 jar 形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 409 页 | 4.47 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.1.0公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 次幂),那 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 4.3. 数据分片 34 Apache ShardingSphere document, v5.1.0 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管器可以通过 jar 形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 406 页 | 4.40 MB | 1 年前3 Apache ShardingSphere 中文文档 5.1.0公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 次幂),那 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 4.3. 数据分片 34 Apache ShardingSphere document, v5.1.0 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管器可以通过 jar 形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 406 页 | 4.40 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.1.2公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 该序列是用来在同一个毫秒内生成不同的 ID。如果在这个毫秒内生成的数量超过 4096 (2 的 12 次幂),那 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管理器可以通过 jar 形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 446 页 | 4.67 MB | 1 年前3 Apache ShardingSphere 中文文档 5.1.2公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 该序列是用来在同一个毫秒内生成不同的 ID。如果在这个毫秒内生成的数量超过 4096 (2 的 12 次幂),那 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管理器可以通过 jar 形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 446 页 | 4.67 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.0.0公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 次幂),那 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 4.2. 数据分片 29 Apache ShardingSphere document, v5.0.0 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管器可以通过 jar 形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 385 页 | 4.26 MB | 1 年前3 Apache ShardingSphere 中文文档 5.0.0公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 次幂),那 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 4.2. 数据分片 29 Apache ShardingSphere document, v5.0.0 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管器可以通过 jar 形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 385 页 | 4.26 MB | 1 年前3
 Apache ShardingSphere v5.5.0 中文文档437 其他异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440 9.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440 10 开发者手册 441 10.1 移的主要设计目标。 8.6.4 应用场景 假如一个应用系统在使用传统单体数据库,单表数据量达到了 1 亿并且还在快速增长,单体数据库负载 持续在高位,成为系统瓶颈。一旦数据库成为瓶颈,对应用服务器扩容是无效的,需要对数据库进行扩 容。 8.6.5 相关参考 • 数据迁移的配置 • 数据迁移的实现原理 8.6. 数据迁移 40 Apache ShardingSphere document SELECT/UPDATE/DELETE 8.10 可观察性 8.10.1 背景 如何观测集群的运行状态,使运维人员可以快速掌握当前系统现状,并进行进一步的维护工作,是分布式 系统的全新挑战。登录到具体服务器的点对点运维方式,无法适用于面向大量分布式服务器的场景。通 过对可系统观察性数据的遥测是分布式系统推荐的运维方式。Tracing(链路跟踪)、Metrics(指标监控) 和 Logging (日志)是系统运行状况的可观察性数据重要的获取手段。0 码力 | 557 页 | 4.61 MB | 1 年前3 Apache ShardingSphere v5.5.0 中文文档437 其他异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440 9.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440 10 开发者手册 441 10.1 移的主要设计目标。 8.6.4 应用场景 假如一个应用系统在使用传统单体数据库,单表数据量达到了 1 亿并且还在快速增长,单体数据库负载 持续在高位,成为系统瓶颈。一旦数据库成为瓶颈,对应用服务器扩容是无效的,需要对数据库进行扩 容。 8.6.5 相关参考 • 数据迁移的配置 • 数据迁移的实现原理 8.6. 数据迁移 40 Apache ShardingSphere document SELECT/UPDATE/DELETE 8.10 可观察性 8.10.1 背景 如何观测集群的运行状态,使运维人员可以快速掌握当前系统现状,并进行进一步的维护工作,是分布式 系统的全新挑战。登录到具体服务器的点对点运维方式,无法适用于面向大量分布式服务器的场景。通 过对可系统观察性数据的遥测是分布式系统推荐的运维方式。Tracing(链路跟踪)、Metrics(指标监控) 和 Logging (日志)是系统运行状况的可观察性数据重要的获取手段。0 码力 | 557 页 | 4.61 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.2.04.1 SQL 错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 4.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 5 开发者手册 272 5.1 运行模式 移的主要设计目标。 3.7.4 应用场景 假如一个应用系统在使用传统单体数据库,单表数据量达到了 1 亿并且还在快速增长,单体数据库负载 持续在高位,成为系统瓶颈。一旦数据库成为瓶颈,对应用服务器扩容是无效的,需要对数据库进行扩 容。 3.7.5 相关参考 • 数据迁移的配置 • 数据迁移的实现原理 3.7. 数据迁移 38 Apache ShardingSphere document 持 3.10 可观察性 3.10.1 背景 如何观测集群的运行状态,使运维人员可以快速掌握当前系统现状,并进行进一步的维护工作,是分布式 系统的全新挑战。登录到具体服务器的点对点运维方式,无法适用于面向大量分布式服务器的场景。通 3.10. 可观察性 44 Apache ShardingSphere document, v5.2.0 过对可系统观察性数据的遥测是分布式系统推荐的运维方0 码力 | 449 页 | 5.85 MB | 1 年前3 Apache ShardingSphere 中文文档 5.2.04.1 SQL 错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 4.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 5 开发者手册 272 5.1 运行模式 移的主要设计目标。 3.7.4 应用场景 假如一个应用系统在使用传统单体数据库,单表数据量达到了 1 亿并且还在快速增长,单体数据库负载 持续在高位,成为系统瓶颈。一旦数据库成为瓶颈,对应用服务器扩容是无效的,需要对数据库进行扩 容。 3.7.5 相关参考 • 数据迁移的配置 • 数据迁移的实现原理 3.7. 数据迁移 38 Apache ShardingSphere document 持 3.10 可观察性 3.10.1 背景 如何观测集群的运行状态,使运维人员可以快速掌握当前系统现状,并进行进一步的维护工作,是分布式 系统的全新挑战。登录到具体服务器的点对点运维方式,无法适用于面向大量分布式服务器的场景。通 3.10. 可观察性 44 Apache ShardingSphere document, v5.2.0 过对可系统观察性数据的遥测是分布式系统推荐的运维方0 码力 | 449 页 | 5.85 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.4.1410 其他异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414 9.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414 10 开发者手册 415 10.1 移的主要设计目标。 8.6.4 应用场景 假如一个应用系统在使用传统单体数据库,单表数据量达到了 1 亿并且还在快速增长,单体数据库负载 持续在高位,成为系统瓶颈。一旦数据库成为瓶颈,对应用服务器扩容是无效的,需要对数据库进行扩 容。 8.6.5 相关参考 • 数据迁移的配置 • 数据迁移的实现原理 8.6. 数据迁移 40 Apache ShardingSphere document SELECT/UPDATE/DELETE 8.10 可观察性 8.10.1 背景 如何观测集群的运行状态,使运维人员可以快速掌握当前系统现状,并进行进一步的维护工作,是分布式 系统的全新挑战。登录到具体服务器的点对点运维方式,无法适用于面向大量分布式服务器的场景。通 过对可系统观察性数据的遥测是分布式系统推荐的运维方式。Tracing(链路跟踪)、Metrics(指标监控) 和 Logging (日志)是系统运行状况的可观察性数据重要的获取手段。0 码力 | 530 页 | 4.49 MB | 1 年前3 Apache ShardingSphere 中文文档 5.4.1410 其他异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414 9.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414 10 开发者手册 415 10.1 移的主要设计目标。 8.6.4 应用场景 假如一个应用系统在使用传统单体数据库,单表数据量达到了 1 亿并且还在快速增长,单体数据库负载 持续在高位,成为系统瓶颈。一旦数据库成为瓶颈,对应用服务器扩容是无效的,需要对数据库进行扩 容。 8.6.5 相关参考 • 数据迁移的配置 • 数据迁移的实现原理 8.6. 数据迁移 40 Apache ShardingSphere document SELECT/UPDATE/DELETE 8.10 可观察性 8.10.1 背景 如何观测集群的运行状态,使运维人员可以快速掌握当前系统现状,并进行进一步的维护工作,是分布式 系统的全新挑战。登录到具体服务器的点对点运维方式,无法适用于面向大量分布式服务器的场景。通 过对可系统观察性数据的遥测是分布式系统推荐的运维方式。Tracing(链路跟踪)、Metrics(指标监控) 和 Logging (日志)是系统运行状况的可观察性数据重要的获取手段。0 码力 | 530 页 | 4.49 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.3.2390 其他异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 9.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 10 开发者手册 395 10.1 移的主要设计目标。 8.6.4 应用场景 假如一个应用系统在使用传统单体数据库,单表数据量达到了 1 亿并且还在快速增长,单体数据库负载 持续在高位,成为系统瓶颈。一旦数据库成为瓶颈,对应用服务器扩容是无效的,需要对数据库进行扩 容。 8.6.5 相关参考 • 数据迁移的配置 • 数据迁移的实现原理 8.6. 数据迁移 40 Apache ShardingSphere document SELECT/UPDATE/DELETE 8.10 可观察性 8.10.1 背景 如何观测集群的运行状态,使运维人员可以快速掌握当前系统现状,并进行进一步的维护工作,是分布式 系统的全新挑战。登录到具体服务器的点对点运维方式,无法适用于面向大量分布式服务器的场景。通 过对可系统观察性数据的遥测是分布式系统推荐的运维方式。Tracing(链路跟踪)、Metrics(指标监控) 和 Logging (日志)是系统运行状况的可观察性数据重要的获取手段。0 码力 | 508 页 | 4.44 MB | 1 年前3 Apache ShardingSphere 中文文档 5.3.2390 其他异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 9.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 10 开发者手册 395 10.1 移的主要设计目标。 8.6.4 应用场景 假如一个应用系统在使用传统单体数据库,单表数据量达到了 1 亿并且还在快速增长,单体数据库负载 持续在高位,成为系统瓶颈。一旦数据库成为瓶颈,对应用服务器扩容是无效的,需要对数据库进行扩 容。 8.6.5 相关参考 • 数据迁移的配置 • 数据迁移的实现原理 8.6. 数据迁移 40 Apache ShardingSphere document SELECT/UPDATE/DELETE 8.10 可观察性 8.10.1 背景 如何观测集群的运行状态,使运维人员可以快速掌握当前系统现状,并进行进一步的维护工作,是分布式 系统的全新挑战。登录到具体服务器的点对点运维方式,无法适用于面向大量分布式服务器的场景。通 过对可系统观察性数据的遥测是分布式系统推荐的运维方式。Tracing(链路跟踪)、Metrics(指标监控) 和 Logging (日志)是系统运行状况的可观察性数据重要的获取手段。0 码力 | 508 页 | 4.44 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.0.0-alpha公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 3.1. 数据分片 19 Apache ShardingSphere document, v5.0.0-beta 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管器可以以 jar 包的形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 301 页 | 3.44 MB | 1 年前3 Apache ShardingSphere 中文文档 5.0.0-alpha公布的分布式主键生成算法,它能够保证不同进程主键的不重复性,以及相同进程 主键的有序性。 实现原理 在同一个进程中,它首先是通过时间位保证不重复,如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的,且各个服务器如果大体做了时间同步,那么生成的主键在分布式环境可以认为是总体 有序的,这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键,二进制表示形式包含 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 3.1. 数据分片 19 Apache ShardingSphere document, v5.0.0-beta 时钟回拨 服务器时钟回拨会导致产生重复序列,因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值,则程序报错;如果在可容忍的范围内,默认分布 式主键生成器会等 接口实现了 XA 模型,JTA 接口中的 ResourceManager 需要数据库厂商提供 XA 驱动 实现,TransactionManager 则需要事务管理器的厂商实现,传统的事务管理器需要同应用服务器绑 定,因此使用的成本很高。而嵌入式的事务管器可以以 jar 包的形式提供服务,同 Apache ShardingSphere 集成后,可保证分片后跨库事务强一致性。 通常,只有使用了事务管理器厂商所提供的0 码力 | 301 页 | 3.44 MB | 1 年前3
共 12 条
- 1
- 2













