Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 1 - Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群： Greenplum 做各种补丁 脚本，也看到了 Greenplum 的大幅进步，甚至我们以前的小技巧也不再需要，持续的 进步，带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 2 - 序言 术语约定 GP ： Greenplum 数据库 Master 的中文资料，为之动容，就想着再为 GP 的发展壮大多做那么一点点贡献，挤出一点时间，重新梳理和打磨这个文档，并完 全根据最新的版本特性进行重新整理，希望能对中文爱好者提供一些帮助，在编写过程 中，仍会参考官方文档，但绝不是简单的翻译，甚至有些内容会与官方文档不一致。 编者提醒，升级版本极其重要，4 版本早该淘汰了，5 版本和 6 版本都带来了极大 的性能和稳定性的提升。 声明

44 45 46 47 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 产品架构 产品架构 云数据仓库产品架构 ⾼可⽤ 快速上⼿ 快速上⼿ ⼀、创建数据仓库 ⼆、连接数据仓库 操作指南 操作指南 关闭数据仓库 启动数据仓库 重启数据仓库 查看数据仓库详情 扩容数据仓库 更改数据仓库密码 续费 删除数据仓库 查看操作⽇志 查看监控 ⽬录 Greenplum数据仓库 UDW 数据导⼊ 数据导⼊ insert加载数据 copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理 4、表格设计 5、加载数据 6、分区表 7、序列 8、索引 9、 ANALYZE/VACUUM 10、常⽤SQL⼤全 12、常⽤SQL命令 132 132 132 139 139 139 141 142 146 152 152 163 177 177 183 190 190 191 192 udw优化指南 表膨胀 表膨胀 表膨胀的原因 如何避免表膨胀 UDW中 中Json类型 类型 Json相关操作 Json操作举例 Json相关函数 Json创建函数 Json处理函数 接⼊第三⽅

RAID 信息写在磁盘上，对调磁盘后，所有 数据信息仍然保留，这样就能避免数据同步带来的性能损耗，这种 方式要求集群所有机器采用相同规格的 RAID 卡。 以下是我们新一代一体机硬件和机柜配置，大家可以参考： Big Date2.indd 27 16-11-22 下午3:38 28 4. ETL 服务器 ETL 服务器是数据的临时存放区，由于 Greenplum 服务器并行加载 的特点，数据可以直接通过网络从 persistenttable 与 pg_class/pg_relation_node/pg_database 等系统 表有着严格的主外键关系。这类系统表也是 primary 实例与 mirror 实例之间实现同步的重要参考数据。 在 Greenplum 集群出现故障时，会有可能导致系统表数据有问题。 系统表出现问题会导致很多种故障产生，如：某些数据库对象不可 用，实例恢复不成功，实例启动不成功等。针对系统表相关的问题， 场景来说，是很常见的。 该 SQL 可以做如下修改： 这样，中间结果的倾斜就消除了，因为在按照 a.b 重分布之前，已经 按照 a.b 做了汇总，如果汇总还有其他 avg，sum，count 之类的指标， 请参考数学知识进行拆解。 Big Date2.indd 48 16-11-22 下午3:38 Greenplum 精粹文集 49 4. 关于函数 首先，Greenplum 更喜欢动态 SQL，就是没有占位符的那种，因为所

和运营效率得以提升，这有助于二手车经销商专注于车辆整备和二手 车零售，加速行业专业化分工、实现规模化发展。 同时，天天拍车也正在布局二手车金融、二手车保卖等创新业务。截 至目前，天天拍车已在全国超过50个多城市设立线下交易服务中心。 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 14 Compare Products 需求：利用GP自建数据仓库面临的数据集成问题 ➢ 同步中断后能够记录中断点，在下次同步时可以自动从中断点开始继续同步数据 ➢ 能够提供对同步组件的监控 ➢ 操作简单，运维效率高 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 15 Compare Products 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 16 Compare QL、PostgresSQL、SQL Server等 ➢ 断点续传不支持 ➢ 大量数据同步的情况下，同步组件效率低 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 17 Compare Products 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 18 Compare

PGHOST=`hostname` $ make $ source gpdemo-env.sh $ psql postgres postgres# SELECT version() 有关更详细的信息请参考 README.macOS.md。 1.2 在 Redhat/Centos 系统上编译 本小节以 RHEL7 为例介绍如何编译Greenplum。 首先下载 Greenplum 源代码 ---------------+--------- ​0​ ​|​ ​501 ​1​ ​|​ ​499 有关如何安装多节点集群，请参考Greenplum官方安装文档。 2.2 集群初始化问题调试 有时候 gpinitsystem 会失败，但是不清楚失败原因是什么。 下面提供一些思路来 RCA： 2.2.1 使用 gpinitsystem

000),采用 Bitmap索引； • 表关联时，一般不需要建索引，如果where条件的筛选性很强，建立索引可以让系统性能提升 • 对于大数据类系统，应避免使用PK,UI,FK,唯一性约束或参考性检查将导致性能大幅下降； • 大数量更新时，应先删除索引，更新/加载数据后再重建索引，或者采用分区交换降低对目标表的影响 临时空间的监控和管理  临时空间被无限制使用，可能导致系统空间 5，建议采用1，避免过多占用OS的内存.  调整资源队列中MEMORY_LIMIT的总和小于 gp_vmem_protect_limit *0.9.  调整资源中的Active_statement和Max_cost，CCB的参考值如下： – Max_Cost :30亿 – Active_Statements:30 – Menory_Limit:多个队列的总和小于gp_vmem_protect_limit *0.9

均匀性：通过概率做到均匀分布 ▪ 稳定性：在相同集群大小下，同一个Tuple每次计算结果相同 ▪ 单调性：扩容过程中，旧节点之间没有数据迁移 ▪ 高效性：对于集群大小为N的时候，时间复杂度为Log(N) – 更多算法细节请参考链接。https://arxiv.org/pdf/1406.2294.pdf – 通过GUC gp_use_legacy_hashops 可以控制，默认是Jump Consistent Hash算法

新部署集群，与现有集群双跑运行，稳定扩展（建议方式） 42 Greenplum扩展规划 Greenplum集群规划 • 业务运营越来越重要 Ø OLAP是根据历史数据，进行准确的统计计算 Ø 考虑过去的问题，为现在的决策提供参考和依据 • 定位与整合 Ø 公司内网GP小数据量计算，GP加载csv数据，GP大数据量统计 Ø 年表与实例无关，可以形成一个整体的大的Greenplum平台 Ø 网络互通，数据互通，相互备份 •

& Proprietary “请找出这样的员工，在Pivotal工作，互相直接 认识， 有一个人名字听起来像是 ‘Peter’ 或者 ‘Pavan’ ，并且最近24小时从一个给定经纬度 的参考点方圆2KM的ATM机上取出了多于 $200的现金” drop function if exists get_people(text,text,integer,integer,float,float);

cost”表示执行对应查询所需要的时间，单位为 ms(毫秒)。查询所消耗的时间越小性能越好。 最后对全部执行 99 个查询的总耗时进行了统计。 *限于测试资源仅做了较小数据集，测试结果仅供参考 e. 结果展示 Greenplum 6.17.0 on openEuler(ARM)测试结果如下： 自此，Greenplum 在欧拉开源操作系统上的合作工作介绍完毕，已经满