2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick

Garcia-Molina /Jeffrey D.Ullman/Jennifer Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 数据库管理员 两阶段提交协议 ● Jim Gray等研究者在1978年提出了两阶段提交协议，用于保证分布式事务提交的原子性 ● 可以用于单机集中式系统，由事务管理器协调多个资源管理器；也可以用于分布式系 统，由一个全局的 事务管理器协调各个子系统的局部事务管理器完成两阶段提交 ● 广泛应用于商业分布式数据库 ❏ A节点是事务的协调者（coordinator） ❏ B和C是事务的参与者（participant） 协调者 参与者 发送prepare消息 ready 发送commit/abort消息 ack 阶段2 阶段1 25 2PC同样可以应用在单机系统上 协调者 资源管理器1 资源管理器2 资源管理器3 日志1 日志2 日志3 PREPARE / COMMIT / ROLLBACK 命令 参与者 读写操作 26 两阶段提交协议需要处理的故障 1. 参与者故障 参与者恢复后，根据日志

0 版本 仓库：https://gitee.com/src-openeuler/gpdb Greenplum 参与欧拉开源社区的贡献内容 Greenplum 中文社区通过 RPM 软件包方式进入欧拉开源社区软件仓库，yum install 即可安装 Greenplum。提要易 用性。同时 Greenplum ORCA 查询优化器的 ARM 平台兼容，平衡了 X86 和 ARM 平台的功能完整性。期待 开源社区配套的测试框架以及测试用例都是基于 X86 平台来进行适配的，对于新的硬件架构，在浮 点数、底层汇编指令都有所不同，此次移植同样对这类问题进行了修复，保证欧拉开源操作系统在多硬件平台构建 RPM 软件包时行为一致，并且通过了 openEuler CICD 测试。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 14 白皮书 | 14 4. 由 Greenplum 中文社区开发者提交的功能性测试报告 此次移植 ARM 和软件包引入欧拉开源社区软件仓库后，Greenplum 中文社区开发者还针对引入的欧拉开源操作系统 版本做了功能性验证和测试，测试结论如下： GreenplumDB 6.17.0 版本本次测试，共计执行回归用例

Confidential–Inter nal Use Only 分布式事务 本地存储 主节点Segment 系统表 分布式事务 Interconnect 执行器 解析器 主节点上的分布式 事务管理器协调 Segment上的提交和 回滚操作 Segments 有自己的 事务日志，确定合 适提交或回滚自己 的事务 主节点 Segment 实例 本地事务 执行器 系统表 本地存储 Segment

会是更好的选择，这也是磁盘技术的未来趋 势。机械盘在长期高压力下，故障率会高很多，而SSD技术则会稳定很多。 GP 安装条件 本节主要按照6版本的情况来介绍，不过，除了GP软件包的安装方式有变化外，其 他内容基本上没有太大差异。 支持的操作系统 6版本的GP Server，支持RHEL6.x_x86_64、RHEL7.x_x86_64、 Greenplum 3之前的版本，因为有Kernel BUG会导致GP运行 大负载任务时出现进程被hang，所以，建议使用7.3及之后版本，7.3及之后的版本解 决了这个问题。 软件依赖 在使用rpm安装6版本GP时，下列的软件包是自动检查依赖关系的： apr,apr-util,bash,bzip2,curl,krb5,libcurl,libevent,libxml2, libyaml,zlib,openldap 18616691889) 编写：陈淼 - 274 - 最好为GP数据库的操作系统配置yum源，在部署GP集群时，可能会有少量的软件 包需要安装，对于未按照建议安装的操作系统，可能会有大量的软件包需要安装。 修改操作系统配置 在正式开始安装和部署及初始化GP数据库集群之前，要先对操作系统进行配置修 改，以满足GP的运行需要，否则，直接安装多机集群时会有各种失败报错。

SQL 一旦 ESA 安装完毕 PEP 流程就将运行，且 Protegrity 功能已安装，下 一步就是与 Protegrity 管理员一起设置数据保护策略。管理员必须在 Protegrity 安全管理器中为将使用信用证标记的 SSN 元素创建一个策 略，允许 gpuser 解除数据的标记，并让所有其他用户能够查看数据的 隐藏版本。此后，需要将该策略配置下推到 PEP 代理，该代理作为在 数据库内执行的功能在