在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 Greenplum 集群部署 Greenplum 集群部署 • gp_segment_configuration 字段名 描述 dbid 每个节点的唯一id content 每个 6中GPExpand的改进与实现 • 在线不停机 • 数据重分布优化 • 并行的优化 改进与实现 • 如何做到不停机 – 增加新节点只要在gp_segment_configuration里添加新节点信息即可 – 新节点以Master为模板生成，只包含catalog，没有数据 改进与实现 • 问题 – 生成模板的过程中，如果catalog被修改怎么保证一致性 改进与实现 • 问题 ▪ 新增catalog锁 ▪ select gp_expand_lock_catalog() ▪ expand过程中申请写锁 ▪ 其他修改catalog操作时也会申请锁来实现与expand的互斥 改进与实现 • 数据重分布的优化 – 扩容后，新节点没有数据，查询Plan如何做？？？ ▪ 在Greenplum 5和之前的版本里会将所有的表改成随机分布，然后再ALTER成按列 分布 ▪ Greenplum

.......................................................................................... 4 集成分析：改进后的全新分析接口 .......................................................................................... 作为重要的新版本，Pivotal Greenplum 5 带来了多项产品改进和新增功能，在管理数据和对数据库中存储的信息应用数据 科学、分析、报告和数据洞察方法方面，这些功能对大多数客户都很有帮助。Greenplum 解决方案的架构设计目的是管理 非常复杂的查询，以及为符合 ANSI 标准的 SQL 提供强有力的分析改进。通过自动对数据进行分区和并行运行查询，它让 服务器群集能够以单一数据超级计 pivotal.io/cn 白皮书 6 © Copyright 2017 Pivotal Software, Inc.保留所有权利。 PIVOTAL GREENPLUM 5：新一代数据平台 集成分析：改进后的全新分析接口 一直以来，客户都能在 Pivotal Greenplum 中做高级分析，无论是提供将应用逻辑向下推送至数据所在位置的方法，执行 分析功能，还是以大规模并行方式构建数据模型，都可以实现。Greenplum

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 41 2.2.4 改进提升 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · (Long-Term Support Release, LTS)。 相比于前一个 LTS（即 7.5.0 版本），8.1.0 版本包含7.6.0-DMR 和8.0.0-DMR 中已发布的新功能、提升改进和错误修 复。当你从 7.5.x 升级到 8.1.0 时，可以下载 TiDB Release Notes PDF 查看两个 LTS 版本之间的所有 Release Notes。下 表列出了从 7.6 建表性能提升 10 倍 �→ （实验特性，从 v7.6.0 开始引入） 在 v7.6.0 中引入了新的 DDL 架构，批量建表的性能提高了 10 倍。 �→ 这一重大改进极大地缩短了创建大量表所需的时间。特别是在 SaaS 场景中，快速创建大量表（ �→ 从数万到数十万不等）是一个常见的挑战，使用该特性能显著提升 SaaS 场景的建表速度。

0 码力 | 4807 页 | 101.31 MB | 1 年前

3

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 54 2.2.4 改进提升 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · v8.0.0 版本起，BR 快照恢复提速功能正式发布并默认启用。通过采用粗粒度打散 Region 算法、批 量创建库表、降低 SST 文件下载和 Ingest 操作之间的相互影响、加速表统计信息恢复等改进措施，快照 恢复的速度有大幅提升。在实际案例中，单个 TiKV 节点的数据恢复速度稳定在 1.2 GiB/s，并且能够在 1 小时内完成对 100 TiB 数据的恢复。 这意味着即使在高负载环境下，BR 开始，自动统计信息收集引入了优先级队列，根据多种条件动态地为对象分配优先级，确保更 有收集价值的对象优先被处理，比如新创建的索引、发生分区变更的分区表等。同时，TiDB 也会优先处 理那些健康度较低的表，将它们安排在队列的前端。这一改进优化了收集顺序的合理性，能减少一部 分统计信息过旧引发的性能问题，进而提升了数据库稳定性。 更多信息，请参考用户文档。 • 解除执行计划缓存的部分限制 #49161 @mjonss @qw4990

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 59 2.2.7 改进提升 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · v6.3.0 开始，分区表默认使用动态裁剪模式，相比静态裁剪模式，动态裁剪模式支持 IndexJoin、Plan Cache 等特性，性能表现更好。在未来版本中，静态裁剪模式将被废弃。 2.2.7 改进提升 • TiDB – 优化扫描大量数据时构造 BatchCop Task 的效率 #55915 #55413 @wshwsh12 – 优化事务的缓存，以降低事务中的写操作延时与 TiDB CPU @xzhangxian1008 – 减少处理存算分离请求时创建的线程数，避免 TiFlash 计算节点在处理大量请求时崩溃 #9334 @JinheLin – 改进 Pipeline Model 执行模型下任务的等待机制 #8869 @SeaRise – 改进 JOIN 算子的取消机制，使得 JOIN 算子内部能及时响应取消请求 #9430 @windtalker • Tools – Backup & Restore

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 64 2.2.7 改进提升 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · v6.3.0 开始，分区表默认使用动态裁剪模式，相比静态裁剪模式，动态裁剪模式支持 IndexJoin、Plan Cache 等特性，性能表现更好。在未来版本中，静态裁剪模式将被废弃。 2.2.7 改进提升 • TiDB – 优化扫描大量数据时构造 BatchCop Task 的效率 #55915 #55413 @wshwsh12 – 优化事务的缓存，以降低事务中的写操作延时与 TiDB CPU @xzhangxian1008 – 减少处理存算分离请求时创建的线程数，避免 TiFlash 计算节点在处理大量请求时崩溃 #9334 @JinheLin – 改进 Pipeline Model 执行模型下任务的等待机制 #8869 @SeaRise – 改进 JOIN 算子的取消机制，使得 JOIN 算子内部能及时响应取消请求 #9430 @windtalker • Tools – Backup & Restore

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 50 2.2.5 改进提升 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · com/zh/tidb/v7.6/ddl-v2">建表性能提升 10 倍（实验特性） 在 v7.6.0 中引入了新的 DDL 架构，批量建表的性能提高了 10 倍。 �→ 这一重大改进极大地缩短了创建大量表所需的时间。特别是在 SaaS 场景中，快速创建大量表（ �→ 从数万到数十万不等）是一个常见的挑战，使用该特性能显著提升 SaaS 场景的建表速度。 改进简化了数据从 MySQL 到 TiDB 的迁移过程，使得数据导入体验更加统一和可控 �→ 。 更多信息，请参考[用户文档](#load-data)。 2.2.1.6 数据库管理 • 闪回功能支持精确

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 42 2.2.4 改进提升 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 数duplicate-resolution 将在未来版本中被移除。 2.2.4 改进提升 • TiDB – 支持并行执行逻辑 DDL 语句 (General DDL)。相比 v8.1.0，在使用 10 个会话并发提交不同 DDL 语句的 场景下，性能提升了 3 到 6 倍 #53246 @D3Hunter – 改进形如 ((a = 1 and b = 2 and c > 3)or (a = 4 的版本，增强安全性 #53990 @hawkingrei – 将 token-limit 的最大值设置为 1048576，避免设置过大导致 TiDB Server OOM #53312 @djshow832 – 改进对于 MPP 执行计划的列裁剪功能，以提升 TiFlash MPP 的执行性能 #52133 @yibin87 – 优化 IndexLookUp 算子在回表数据量较多（大于 1024 行）时的性能开销

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 32 2.2.4 提升改进 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 用户文档 • 提升 TiKV 流控稳定性 TiKV 引入了新的流控机制代替之前的 RocksDB write stall 流控机制。相比于 write stall 机制，新的流控机制 通过以下改进减少了流控对前台写入稳定性的影响： – 当 RocksDB compaction 压力堆积时，通过在 TiKV scheduler 层进行流控而不是在 RocksDB 层进行流控， 避免 RocksDB MySQL 但不支持 START TRANSACTION ... WITH CONSISTENT SNAPSHOT 和 SHOW �→ CREATE TABLE 语句的数据库 #311 2.2.4 提升改进 • TiDB – 支持将内置函数 json_unquote() 下推到 TiKV #24415 – 支持在 Dual 表上移除 Union 算子的优化 #25614 – 优化聚合算子的代价常数

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 44 2.2.5 改进提升 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Support Release, LTS)。 相比于前一个 LTS（即 7.1.0 版本），7.5.0 版本包含7.2.0-DMR、7.3.0-DMR 和7.4.0-DMR 中已发布的新功能、提升改进 和错误修复。当你从 7.1.x 升级到 7.5.0 时，可以下载 TiDB Release Notes PDF 查看两个 LTS 版本之间的所有 release notes。下表列出了从 7.2 LTS 版本中将被 完全废弃，推荐使用PITR 替代。 • 统计信息的快速分析（实验特性）在 v7.5.0 中废弃。 • 统计信息的增量收集（实验特性）在 v7.5.0 中废弃。 2.2.5 改进提升 • TiDB – 优化合并 GlobalStats 的并发模型：引入tidb_enable_async_merge_global_stats 实现同时加载统计 信息并进行合并，从而加速分区表场景下