........ - 172 - Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 6 - 全局死锁检测 .............................................................................................. .. - 285 - Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 8 - 创建初始化配置文件 .............................................................................................. - 286 .......................... - 354 - 生成扩展配置文件 .................................................................................................. - 354 - 扩容配置文件的格式 .....................................

建立并添加新节点 – 数据重分布 GPExpand简介与具体用法 • 增加新节点 – gpexpand –i 配置文件 • 数据重分布 – gpexpand • 清理 – gpexpand -c GPExpand简介与具体用法 • 增加新节点 – gpexpand –i 配置文件（gpexpand生成或手动编辑） sdw:sdw:25438:/data/expand1/primary:9:3:p 对表执行expand之后要更新gpexpand.status_detail表的状态 ▪ Greenplum 5及之前的版本对表的更新操作是串行的，所以大量小表做expand会在 更新状态表时遇到瓶颈 ▪ Greenplum 6中因为全局死锁检测的引入可以对heap表做并行更新 改进与实现 • 扩容期间对查询的影响 – 新增节点阶段无法修改catalog – 对于正在重分布的表的读写访问均会被阻塞 – 对于分布状态不相同的哈希分布表的Join无法做优化

.............................................................................................. 8 全局死锁检测（GDD、Global deadlockdetector） ................................................................. 团队提出一种全新的全局死锁检测器来减少独占锁的使用，减少独占锁的使用可以极大的提高数据库 在高并发状态下的性能，这项技术已经在 Greenplum6 实现。 在 Greenplum6 和即将发布的 Greenplum 7, 带来了多项产品改进和新增功能，这些功能提升了性能，增加了系统可 用性，提高了系统可维护性，而这些对于传统 OLTP 类型应用提供了强有力的支撑。 全局死锁检测（GDD、Global 来的死锁 处理。Greenplum 创新性的采用了分布式死锁检测，更新删除表的锁级别已降低，支持并发更新删除操作，大大提 升了处理性能。 并发控制优化 Greenplum 6 除了全局死锁检测，还引入了多项其他并发控制优化方法，这些优化对 SELECT 和 INSERT 提升比较 大。一个优化有关 procarray 锁，另一个优化和事务有关，大多数 OLTP 查询带有主键或者分布键，这种查询不需要

包括每个segment的数据文件（可以流式输出）、master产 生的post_data文件包含indexes, triggers, primary key constraints等数据 库对象，master产生的全局对象包含角色和表空间等 2. Regular files 包括各类辅助文件，例如存储着create database语句的文 件，备份状态报告文件等 其中最核心的每个segment的数据文件，命名格式如下： 步骤如下： 1. 读取参数，检测合理性 2. master执行对pg_class加锁操作 3. 封装并执行gp_dump命令 4. 检测每个segment备份状态 5. 其他操作，例如备份全局对象（角色和表空间）、 备份config文件、清理旧备份集以及VACCUM等 2017 年象行中国（杭州 站）第一期 gp_dump具体实现 2017 年象行中国（杭州 站）第一期 非并行数据恢复

Postgresql 数 据库实例同时开展并行计算。而且，这些 Postgresql 之间采用 share- nothing 无共享架构，从而更将这种并行计算能力发挥到极致，除此之 外，MPP 采用两阶段提交和全局事务管理机制来保证集群上分布式事 务的一致性，Greenplum 像 Postgresql 一样满足关系型数据库的包括 ACID 在内的所有特征。 从上图可以看到，Greenplum 的最小并行单元不是节点层级，而是在 FS、Hbase、MapReduce、 Storm、Mesos...... 无一例外都是 Master-Slave 架构。相反，采用 MultipleActive Master 的软件系统，需要消耗更多资源和机制来保证 元数据一致性和全局事务一致性，特别是在节点规模较多时，将导致 性能下降，严重时可能导致多 Master 之间的脑裂引发严重系统故障。 4. Greenplum 不能做什么？ Greenplum 最大的特点总结就一句话：基于低成本的开放平台基础上 1) 数据库内部对象的元数据 如：pg_database、pg_namespace、pg_class、pg_attribute、pg_ type、pg_exttable 等。 这类系统表既涵盖了全局的对象定义，也涵盖了每个数据库内的各 种对象定义。这类系统表的元数据不是分布式的存储，而是每一个 数据库实例（不论是 master 实例还是 segment 实例）中都各有一 份完整的元数据。但也有

两阶段提交协议 ● Jim Gray等研究者在1978年提出了两阶段提交协议，用于保证分布式事务提交的原子性 ● 可以用于单机集中式系统，由事务管理器协调多个资源管理器；也可以用于分布式系 统，由一个全局的 事务管理器协调各个子系统的局部事务管理器完成两阶段提交 ● 广泛应用于商业分布式数据库 ❏ A节点是事务的协调者（coordinator） ❏ B和C是事务的参与者（participant） y T, L> 32 Greenplum实现分布式事务与并发控制 • 分布式事务管理 • 分布式事务的创建、状态迁移等 • QD向QE发起两阶段提交 • 分布式快照 • QD向QE发送全局快照信息 • Writer QE和Reader QE共享本地快照信息 • distributed log：分布式事务提交日志 • 用于判断分布式事务是否提交，作用和PG 的commit log类似，基于simple

■ 支持更改分布键、主键（将数据从一个节点移到另一个节点） 30 Pivotal Confidential–Internal Use Only Greenplum 6：并发改删和分布式死锁检测 全局死 锁检测 gpconfig -c ‘gp_enable_global_deadlock_detector’ -v on 31 Pivotal Confidential–Internal Use rg1 (cpu_set=’4,5’, memory_limit=10, concurrency=5) 资源管理：内存 ■ 隔离 ○ segment级 ○ 资源组 ○ 查询 ■ 共享 ○ 全局segment级 ○ 资源组内 资源管理：磁盘配额 SELCT diskquota.set_schema_quota ('s1', '1 MB'); SELECT diskquota.set_role_quota

Greenplum开发规范 用户与权限规范 • 四层授权保保障 Ø 角色 role ： 管理数据库内对象权限 Ø 用户 user ： 用户认证权限 Ø pg_hba.conf ： 实例权限配置文件 Ø iptables : 防火墙IP访问配置策略 • 账号类型划分 Ø 管理账号 Ø 开发账号 Ø 调度账号 Ø 业务账号 Ø 测试账号 • 账号名称限定 Ø 所有都用小写字母加下划线的方式

​.​sh # step 2. 交换集群中所有机器的ssh密钥, 我们这里只有一台机器 $ gpssh​-​exkeys ​-​h ​`hostname` # step 3. 生成三个配置文件： env.sh, hostfile, gpinitsystem_config $ cat env​.​sh source $HOME​/​gpdb​.​master​/​greenplum_path​

分布式执行和事务 Ø MVCC q Xmin, Xmax 是节点本地的 Ø 分布式快照 q QD生成，下发给QE q segment本地事务异步两阶段提交，保持一致性 Ø HTAP 优化 q 全局死锁检测 q 只读事务、只涉及到某个节点的操作、vacuum Ø SIGMOD 2021: Greenplum: A Hybrid Database for Transactional and Analytical