Greenplum 编译安装和调试 本文先介绍如何从源代码编译安装Greenplum、初始化Greenplum集群。然后介绍SQL在 Greenplum中的典型执行路径，最后介绍一些调试技巧。 源代码使用 Greenplum 开源社区最新源代码 6X_STABLE 分支： https://github.com/greenplum-db/gpdb​，内核代码基于 PostgreSQL com/greenplum-db/gpdb-postgres-merge​。 1. 从源代码编译 Greenplum Greenplum 目前官方支持 Redhat/Centos/SuSE/Ubuntu 等Linux系统。大量开发人员包括我自己 使用Mac系统，但是不在官方支持列表中。 1.1 在 Mac 系统上编译 首先需要关闭苹果操作系统的 SIP 特性，否则无法初始化集群。 1. 重启操作系统 python get-pip.py $ sudo pip install psutil lockfile paramiko setuptools epydoc // 需要安装 openssl，否则无法编译 $ brew install openssl && brew link openssl --force $ CPPFLAGS="-I/usr/local/include/ -I/usr/l

白皮书 4 白皮书 | 4 关于本白皮书 近日，Greenplum 社区和欧拉开源社区深化合作，在欧拉开源操作系统（openEuler, 简称“欧拉”）编译测试了高级分 析数据平台 Greenplum，用实践证明了 Greenplum 与支持多样性计算的欧拉开源操作系统完全兼容，是 Greenplum 与中国本地 IT 厂商的深入合作的典型模板，大 无论是短期内还是未来长期时间里， 都能满足客户的需求。 支持多种云不受限于基础架构的数据平台 Greenplum 自从开源以来，可以通过 cn.greenplum.org 网站下载和编译的版本与商业版将具有相同的内核（只有 个别微小差别），这是近年来致力于扩展和融入以 Greenplum 为中心的生态系统和社区的结果，用户可基于开放的 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 9 白皮书 | 9 源代码在各种平台进行编译使用。作为能够独立于专用硬件加速提供高性能的纯软件数据平台，Greenplum 可根据 客户需求在任何位置运行。借助这种“不受限于基础架构”的方法，可以在本地不同的操作系统、不同的芯片环境或多

管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 42 -  资源队列 这里提到的 pgAdminIII 是编者自己修改编译的版本，不再是网上直接找到的版 本，目前已经针对 6 版本完成了必要的适配和优化，同时支持 4 版本和 5 版本，能够 正确的显示资源组和资源队列的信息，修复了资源队列刷新的 BUG，外部表的 DDL 实现，GP的Primary和gpfdist服务之间直接通过网络高速并行数据传输。  gpload命令，通过YML格式文件进行参数控制，通过对gpfdist命令和外部表的 包装(只是包装)，具备一定程度的自动化，实现将文件数据导入到GP数据库中。 实际上，编者从未真正使用过gpload命令，因为直接使用外部表更灵活，过于追 求傻瓜式，并不利于问题的发现和解决，编者不会介绍gpload命令。  如何初始化一套符合各种安全和指 标要求的GP数据库集群。 对于安装好操作系统，配置好网络之后的操作，本章节主要是为了解说相关的知识， 编者不再使用这种纯手工的方法，因为效率太低，编者有一个自动化脚本来完成这些重 复且容易出错的工作，目前仅在编者为客户提供实施时使用，暂不公开传播。 硬件选型 GP是一个分布式数据库软件，整体数据库的性能依赖于硬件的性能和各种硬件资 源

半结构化/无模式 ○ 数据隔离 → 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○ 自动化调优 ● 弹性资源管理 ○ 存储资源 ○ 计算资源 ● 安全 ○ 用户数据 ○ 临时文件 ○ 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案

很多⼿手动步骤，易易 出错 客户 数据科学解决⽅方案 ● 某⼤大型跨国多元 化传媒和娱乐公 司 ● 简化Data 流程 ● 在Madlib上重新建 模和预测 ● 实现流程全⾃自动化 背景 2017.thegiac.com 数据源 • 客户数据 - 购买 - 预定 - 营销 - 在线注册 - ⽹网⻚页浏览历史 - 地理理信息数据

Components 数据库管理系统组成图 Hector Garcia-Molina /Jeffrey D.Ullman/Jennifer Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 DTX_PROTOCOL_COMMAND_COMMIT_ONEPHASE QD 检查事务是否满足 一阶段提交 QE 满足一阶段提交的分布式事务： • 有写操作，参与者只有一个 • 只读事务 准备工作 从源代码开始：下载编译Greenplum源代码 全新的问答论坛

Python、C、Perl、TCL、 PLSQL 等等语言来扩展功能，在后续章节中，我将展现这种扩展 是如何的方便，另外，开发新的功能模块、新的数据类型、新的索 引类型等等非常方便，只要按照 API 接口开发，无需对 PG 重新编译。 PG 中 contrib 目录下的各个第三方模块，在 GP 中的 postgis 空间 数据库、R、Madlib、pgcrypto 各类加密算法、gptext 全文检索都 是通过这种方式实现功能扩展的。 报表集成的时候非 常容易；对于 postgresql 的 contrib 中的一些常用模块 Greenplum 提 供了编译后的模块开箱即用，如：oraface、postgis、pgcrypt 等， 对于其它模块，用户可以自行将 contrib 下的代码与 Greenplum 的 include 头文件编译后，将动态 so 库文件部署到所有节点就可进行测 试使用了。有些模块还是非常好用的，例如：oraface，基本上集成了 48 16-11-22 下午3:38 Greenplum 精粹文集 49 4. 关于函数 首先，Greenplum 更喜欢动态 SQL，就是没有占位符的那种，因为所 有的变量都可以在编译时完全获取，尤其是分区条件，相信已经有大 批开发人员在 function 中深受此问题困扰多年。 其次，你也许和我一样，更喜欢在 function 中能够直接将变量写进 SQL，同时，极度厌烦字符串拼接的方式

Public CGroup Kill –USR2 2016Postgres中国用户大会 未来规划 满足客户需求！ 列存优化 – 某些场景下提高数倍性能 CPU优化 – 对GP执行器的静态编译优化 流式备份 – 实时的物理备份 社区参与 – 成为社区积极的贡献者 2016Postgres中国用户大会 2016Postgres中国用户大会

Greenplum扩展规划 六 10 greenplum体系架构 postgresql体系结构 11 greenplum体系架构 postgresql体系结构 • pg结构组成 Ø 连接关系系统 Ø 编译执行系统 Ø 存储执行系统 Ø 事务系统 Ø 系统表 • pg逻辑和物理结构 Ø instance实例 - user - tablesapce Ø database - schema - table

48 ● 内排序 • 快速排序 • 堆排序 ● 外排序 • 生成尽可能大的顺串 • 高效比较多个顺串的最小值 • 减少IO次数 ● 多键排序 总结 准备工作 从源代码开始：下载编译Greenplum源代码 全新的问答论坛 https://cn.greenplum.org/askgp