2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – Resource Queue • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc 2017 年象行中国（杭州 站）第一期 Resource Group • SQL语句并发控制 => 事务并发控制 • 基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 2017 年象行中国（杭州 站）第一期 Running Example

.................... - 45 - 第六章：资源管理 .................................................................................................................... - 46 - 使用资源组................................ ........................................ - 46 - 资源组基于角色或基于外部组件 ............................................................................ - 47 - 资源组的属性 ............................................ ........................... - 48 - 配置与使用资源组 .................................................................................................... - 57 - 监控资源组状态 ......................................

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 315 8.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 TiDB Operator 可在公有云、私有云、混合云中实现部署工具化、自 动化。 • 兼容 MySQL 5.7 协议和 属性的场景 众所周知，金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案 是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务，此解决方案存在以下缺点： 资源利用率低、维护成本高、RTO (Recovery Time Objective) 及 RPO (Recovery Point Objective) 无法真实达到企业 25 所期望的值。TiDB 采用多副本

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 299 8.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 TiDB Operator 可在公有云、私有云、混合云中实现部署工具化、自 动化。 • 兼容 MySQL 5.7 协议和 属性的场景 众所周知，金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案 是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务，此解决方案存在以下缺点： 资源利用率低、维护成本高、RTO (Recovery Time Objective) 及 RPO (Recovery Point Objective) 无法真实达到企业 所期望的值。TiDB 采用多副本

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 290 8.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 TiDB Operator 可在公有云、私有云、混合云中实现部署工具化、自 动化。 • 兼容 MySQL 5.7 协议和 属性的场景 众所周知，金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案 是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务，此解决方案存在以下缺点： 资源利用率低、维护成本高、RTO (Recovery Time Objective) 及 RPO (Recovery Point Objective) 无法真实达到企业 所期望的值。TiDB 采用多副本

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 774 8.5 使用资源管控 (Resource Control) 实现资源隔离 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 776 8 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 779 8.5.6 关闭资源管控特性 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 987 10.3.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 993

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 752 10.5 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 822 10.18 支持资源 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 TiDB Operator 可在公有云、私有云、混合云中实现部署工具化、自 动化。 • 兼容 MySQL 5.7 协议和

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 757 8.5 使用资源管控 (Resource Control) 实现资源隔离 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 759 8 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 761 8.5.7 关闭资源管控特性 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 960 10.3.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 967

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 758 8.5 使用资源管控 (Resource Control) 实现资源隔离 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 760 8 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 763 8.5.6 关闭资源管控特性 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 971 10.3.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 977

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 766 8.5 使用资源管控 (Resource Control) 实现资源隔离 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 768 8 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 771 8.5.6 关闭资源管控特性 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 977 10.3.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 983