Instance Segment 5 (Mirror) 容器化Greenplum ? + = 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略 故障检测及恢复 ○ 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略 容器网络管理 容器资源管理 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略

资源申请 IO类型 配置 为了保证MySQL的高可用，需要在Docker容器分配时如何保障主从不在同一宿主机上。我们通过自研 Docker容器调度平台管理所有宿主机和容器,自定义Docker容器的分配算法。实现了MySQL的高密度,隔离 化,高可用化部署。 调度规则： 1.同一复制集群的实例在不同主机上。 2.优先分配CPU、内存、磁盘空间资源最空闲的主机。 3.根据IO需求调度容器创建在不同IO类型的主机。 目前使用的host模式，无法隔离网络。但是考虑到10G接入，且单机密度可控的情况下，网 络消耗不会过载。另外目前我们已经在线下尝试结合Ovs+Dpdk的方案实现网络隔离。 容器的调度 •提供两种API： •Docker API的封装，用于创建,删除,修改。 •集群管理API，用于集群管理。 •Scheduler调度：选择最优节点创建容器。 •Agent：用于连接监控模块，上报系统运行状况。 GRPC API Schedule 交付能力提升70倍 ■ 生产环境近3500个实例在平台上工作 成果 手工部署： 部署一套高可用集群+备份，配置监控。至少30分钟。部署32个节点的分片的集群，至少一个上午 。无系统化管理，资源分配情况，无法统一调配，服务器资源利用率低。 MySQL容器平台： 部署一套高可用集群+自动化备份+慢日志分析+监控。用时1-2分钟。部署32个节点的分片集群， 只需5分钟。标准化的系统管理，部署

MySQL，Oracle，SQLServer，PostgreSQL 以及任何 遵循 SQL92 标准的数据库。 1.1.2 ShardingSphere-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支 持。目前提供 MySQL 和 PostgreSQL（兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使 用任何兼容 3.1.2 ShardingSphere-Proxy ShardingSphere‐Proxy 是 Apache ShardingSphere 的第二个产品。它定位为透明化的数据库代理端，提 供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。目前提供 MySQL 和 PostgreSQL （兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使用任何兼容 executor.size (?) 属 性 工作线程数量，默认值: CPU 核数 max .connections.size.per.query (?) 属 性 每个物理数据库为每次查询分配的最大连接数量。默认值: 1 c heck.table.metadata.enabled (?) 属 性 是否在启动时检查分表元数据一致性，默认值: false

0 码力 | 385 页 | 4.26 MB | 1 年前

3

MySQL，Oracle，SQLServer，PostgreSQL 以及任何 遵循 SQL92 标准的数据库。 1.1.2 ShardingSphere-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支 持。目前提供 MySQL 和 PostgreSQL 版本，它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端 (如：MySQL =, >, <, >=, <=, IN 和 BETWEEN AND 的分片操作支持。ComplexShardingStrategy 支持多分片键，由于多分片键之间的关系复杂，因此并 未进行过多的封装，而是直接将分片键值组合以及分片操作符透传至分片算法，完全由应用开发者实现， 提供最大的灵活度。 • Hint 分片策略 对应 HintShardingStrategy。通过 Hint 指定分片值而非从 对于分片策略存有数据源分片策略和表分片策略两种维度。 • 数据源分片策略 对应于 DatabaseShardingStrategy。用于配置数据被分配的目标数据源。 • 表分片策略 对应于 TableShardingStrategy。用于配置数据被分配的目标表，该目标表存在于该数据的目标数据源内。 故表分片策略是依赖于数据源分片策略的结果的。 两种策略的 API 完全相同。 自增主键生成策略

– 支持任务在分布式场景下的分片和高可用 – 能够水平扩展任务的吞吐量和执行效率 – 任务处理能力随资源配备弹性伸缩 • 资源分配 – 在适合的时间将适合的资源分配给任务并使其生效 – 相同任务聚合至相同的执行器统一处理 – 动态调配追加资源至新分配的任务 • 作业治理 – 失效转移 – 错过作业重新执行 – 自诊断修复 • 作业依赖 (TODO) – 基于有向无环图（DAG）的作业间依赖 平扩展的任务处理系统。 5.2.1 分片 ElasticJob 中任务分片项的概念，使得任务可以在分布式的环境下运行，每台任务服务器只运行分配给该 服务器的分片。随着服务器的增加或宕机，ElasticJob 会近乎实时的感知服务器数量的变更，从而重新为 分布式的任务服务器分配更加合理的任务分片项，使得任务可以随着资源的增加而提升效率。 任务的分布式执行，需要将一个任务拆分为多个独立的任务项，然后由分布式的服务器分别执行某一个 50% 的负 载，如下图所示。 7 Apache ShardingSphere ElasticJob document 分片项 ElasticJob 并不直接提供数据处理的功能，而是将分片项分配至各个运行中的作业服务器，开发者需要自 行处理分片项与业务的对应关系。分片项为数字，始于 0 而终于分片总数减 1。 个性化分片参数 个性化参数可以和分片项匹配对应关系，用于将分片项的数字转换为更加可读的业务代码。

之前的版本中，配置变更后，必须重启 TiDB 集群，配置才会生效，这对在线业务会造成一定的影响。 TiDB v6.1.0 引入了在线修改配置功能，参数修改后，无需重启，即可生效。具体优化如下： 35 * TiDB 将部分配置项转化为系统变量，所有变量支持在线变更，并支持持久化。请注意，转化后， �→ 原有配置项将被废弃。详细变更列表请查看[配置文件参数](#配置文件参数)。 * TiKV 支持部分参数在线变更。详细变更列表请查看[其他](#其他)。 grpc-memory-pool-quota – server.max-grpc-send-msg-len – server.raft-msg-max-batch-size • v6.1.0 中，部分配置项转化为系统变量。对于从 v6.1.0 之前版本升级到 v6.1.0 的集群（包括滚动升级和停 机升级），请注意： – 若升级前集群指定的配置文件中，存在已经配置的项，则升级过程中 TiDB 将会将配置项的值自动 MySQL 有差异的特性详细说明 2.6.2.1 自增 ID • TiDB 的自增列既能保证唯一，也能保证在单个 TiDB server 中自增，但不保证多个 TiDB server 中自增，不 保证自动分配的值的连续性。不建议将缺省值和自定义值混用，若混用可能会收到 Duplicated Error 的错误信息。 • TiDB 可通过 tidb_allow_remove_auto_inc 系统变量开启或者关闭允许移除列的

Redis 标准版。并且提供数据传输工具（DTS）可以进行增量的 Redis 迁移，保 证业务平稳过渡。 阿里云自研 故障探测切换系统（HA） 阿里云 Redis 服务封装 HA 切换系统，时时探测主节点的异常情况，可以有效解决磁盘 IO 故障，CPU 故障等问题导致的服务异常，及时进行主备切换从而保证服务高可用。 主备复制机制 阿里云针对 Redis 云数据库 Redis 版 产品简介 19 - 备节点作为热备节点不对外提供服务。只读节点承担读请求，Proxy 按权重（目前权重由系统分配 ，暂时不支持自定义）将读写请求转发到主节点或者某个只读节点上 。 说明：系统会将读请求平均分配到主节点和只读节点。比如您购买3个只读实例的配置，读权重是主节点 和3个只读各自25%。 HA 系统自动监控各节点的健康状态， Host 地址，以域名 方式展示，可在实例信息>连接信息中查询到。 连接密码 用于连接云数据库 Redis 版的密码。密码拼接方法 为：实例 ID:自定义密码。比如，在购买时设置的 密码为1234，分配的实例 ID 为xxxx，那么密码即 为xxxx:1234。 逐出策略 与 Redis 的逐出策略保持一致。具体参见 云数据库 Redis 版 产品简介 30 Redis 小版本最新特性介绍

MySQL，PostgreSQL，Oracle，SQLServer 以及任何 可使用 JDBC 访问的数据库。 1.1.2 ShardingSphere-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支 持。目前提供 MySQL 和 PostgreSQL（兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使 用任何兼容 3.1.2 ShardingSphere-Proxy ShardingSphere‐Proxy 是 Apache ShardingSphere 的第二个产品。它定位为透明化的数据库代理端，提 供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。目前提供 MySQL 和 PostgreSQL （兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使用任何兼容 数据库原生的返回结果集的方式最为契合。遍历、排序以及流式分组都属于流式归并的一种。 内存归并则是需要将结果集的所有数据都遍历并存储在内存中，再通过统一的分组、排序以及聚合等计 算之后，再将其封装成为逐条访问的数据结果集返回。 装饰者归并是对所有的结果集归并进行统一的功能增强，目前装饰者归并有分页归并和聚合归并这 2 种 类型。 7.2. 数据分片 246 Apache ShardingSphere

MySQL，PostgreSQL，Oracle，SQLServer 以及任何 可使用 JDBC 访问的数据库。 1.1.2 ShardingSphere-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支 持。目前提供 MySQL 和 PostgreSQL（兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使 用任何兼容 3.1.2 ShardingSphere-Proxy ShardingSphere‐Proxy 是 Apache ShardingSphere 的第二个产品。它定位为透明化的数据库代理端，提 供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。目前提供 MySQL 和 PostgreSQL （兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使用任何兼容 数据库原生的返回结果集的方式最为契合。遍历、排序以及流式分组都属于流式归并的一种。 内存归并则是需要将结果集的所有数据都遍历并存储在内存中，再通过统一的分组、排序以及聚合等计 算之后，再将其封装成为逐条访问的数据结果集返回。 装饰者归并是对所有的结果集归并进行统一的功能增强，目前装饰者归并有分页归并和聚合归并这 2 种 类型。 7.2. 数据分片 241 Apache ShardingSphere

MySQL，PostgreSQL，Oracle，SQLServer 以及任何 可使用 JDBC 访问的数据库。 1.1.2 ShardingSphere-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支 持。目前提供 MySQL 和 PostgreSQL（兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使 用任何兼容 3.1.2 ShardingSphere-Proxy ShardingSphere‐Proxy 是 Apache ShardingSphere 的第二个产品。它定位为透明化的数据库代理端，提 供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。目前提供 MySQL 和 PostgreSQL （兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使用任何兼容 数据库原生的返回结果集的方式最为契合。遍历、排序以及流式分组都属于流式归并的一种。 内存归并则是需要将结果集的所有数据都遍历并存储在内存中，再通过统一的分组、排序以及聚合等计 算之后，再将其封装成为逐条访问的数据结果集返回。 装饰者归并是对所有的结果集归并进行统一的功能增强，目前装饰者归并有分页归并和聚合归并这 2 种 类型。 7.2. 数据分片 257 Apache ShardingSphere