图形界⾯的⽅式访问UDW 2.1 配置 配置UDW外⽹访问 外⽹访问 udw默认是通过内⽹访问的，为了数据安全性，尽量不要通过外⽹访问UDW，如果需要图形界⾯的⽅式访问UDW，则需要配置udw的外⽹访问，请参考： 前提：有⼀台可以访问 udw 的 uhost，并且这台 uhost 上可以访问外⽹ ip。 例如：uhost 内⽹ ip 是 10.10.0.9 外⽹ IP 是 192.168.120.110，udw -g -L 5432:10.10.10.1:5432 root@10.10.0.9 备注：请注意开放外⽹防⽕墙端⼝ 5432（也可以把 udw 端⼝映射到 uhost上其他端⼝上），⽹络防⽕墙配置请参考： https://docs.ucloud.cn/unet/firewall/introduction 2.2 SQL Workbench/J SQL Workbench/J是⼀个独⽴于DBMS 。这样就可以并⾏的加载⽂件中的数据。 使⽤⽅法请参考我们的⽂档：外部表并⾏加载数据到udw 从 从hdfs加载数据 加载数据 为了⽅便udw和hdfs之间的数据导⼊和导出，我们提供个两种⽅案： 1. ⽤sqoop实现hdfs和udw直接的数据导⼊导出，使⽤⽅法请参考：hdfs和hive中数据导⼊导出到udw 2. 创建hdfs外部表，使⽤⽅法请参考：创建hdfs外部表 从 从mysql中导⼊数据

的中文资料，为之动容，就想着再为 GP 的发展壮大多做那么一点点贡献，挤出一点时间，重新梳理和打磨这个文档，并完 全根据最新的版本特性进行重新整理，希望能对中文爱好者提供一些帮助，在编写过程 中，仍会参考官方文档，但绝不是简单的翻译，甚至有些内容会与官方文档不一致。 编者提醒，升级版本极其重要，4 版本早该淘汰了，5 版本和 6 版本都带来了极大 的性能和稳定性的提升。 声明 点与官方手册有 出入，仅代表编者本人观点，与官方手册无关。本书中可能会提及一些非官方的命令和 工具等，仅用于讲解相关知识，如有缺失相关细节的情况，请谅解。 致读者 如果您在阅读和参考本书的过程中发现有任何不妥之处，或者有任何的建议和意见， 欢迎联系编者，本书主要针对 GP 数据库的爱好者进行编写，包括产品的安装和使用说 明，以及最佳实践等内容。本书的发布更新情况与编者的时间有关，不做承诺。 切换命令，当 Master 出现无法正常工作的故障时，自动激活 Standby 来接管 Master 的任务。下面的流程图，是编者实现的 Master 和 Standby 自动切换的逻辑流程图， 可以供读者参考，不过，编者不方便公开实现的代码。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 13 -

和运营效率得以提升，这有助于二手车经销商专注于车辆整备和二手 车零售，加速行业专业化分工、实现规模化发展。 同时，天天拍车也正在布局二手车金融、二手车保卖等创新业务。截 至目前，天天拍车已在全国超过50个多城市设立线下交易服务中心。 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 14 Compare Products 需求：利用GP自建数据仓库面临的数据集成问题 ➢ 同步中断后能够记录中断点，在下次同步时可以自动从中断点开始继续同步数据 ➢ 能够提供对同步组件的监控 ➢ 操作简单，运维效率高 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 15 Compare Products 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 16 Compare QL、PostgresSQL、SQL Server等 ➢ 断点续传不支持 ➢ 大量数据同步的情况下，同步组件效率低 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 17 Compare Products 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 18 Compare

RAID 信息写在磁盘上，对调磁盘后，所有 数据信息仍然保留，这样就能避免数据同步带来的性能损耗，这种 方式要求集群所有机器采用相同规格的 RAID 卡。 以下是我们新一代一体机硬件和机柜配置，大家可以参考： Big Date2.indd 27 16-11-22 下午3:38 28 4. ETL 服务器 ETL 服务器是数据的临时存放区，由于 Greenplum 服务器并行加载 的特点，数据可以直接通过网络从 persistenttable 与 pg_class/pg_relation_node/pg_database 等系统 表有着严格的主外键关系。这类系统表也是 primary 实例与 mirror 实例之间实现同步的重要参考数据。 在 Greenplum 集群出现故障时，会有可能导致系统表数据有问题。 系统表出现问题会导致很多种故障产生，如：某些数据库对象不可 用，实例恢复不成功，实例启动不成功等。针对系统表相关的问题， 场景来说，是很常见的。 该 SQL 可以做如下修改： 这样，中间结果的倾斜就消除了，因为在按照 a.b 重分布之前，已经 按照 a.b 做了汇总，如果汇总还有其他 avg，sum，count 之类的指标， 请参考数学知识进行拆解。 Big Date2.indd 48 16-11-22 下午3:38 Greenplum 精粹文集 49 4. 关于函数 首先，Greenplum 更喜欢动态 SQL，就是没有占位符的那种，因为所

PGHOST=`hostname` $ make $ source gpdemo-env.sh $ psql postgres postgres# SELECT version() 有关更详细的信息请参考 README.macOS.md。 1.2 在 Redhat/Centos 系统上编译 本小节以 RHEL7 为例介绍如何编译Greenplum。 首先下载 Greenplum 源代码 ---------------+--------- ​0​ ​|​ ​501 ​1​ ​|​ ​499 有关如何安装多节点集群，请参考Greenplum官方安装文档。 2.2 集群初始化问题调试 有时候 gpinitsystem 会失败，但是不清楚失败原因是什么。 下面提供一些思路来 RCA： 2.2.1 使用 gpinitsystem

000),采用 Bitmap索引； • 表关联时，一般不需要建索引，如果where条件的筛选性很强，建立索引可以让系统性能提升 • 对于大数据类系统，应避免使用PK,UI,FK,唯一性约束或参考性检查将导致性能大幅下降； • 大数量更新时，应先删除索引，更新/加载数据后再重建索引，或者采用分区交换降低对目标表的影响 临时空间的监控和管理  临时空间被无限制使用，可能导致系统空间 5，建议采用1，避免过多占用OS的内存.  调整资源队列中MEMORY_LIMIT的总和小于 gp_vmem_protect_limit *0.9.  调整资源中的Active_statement和Max_cost，CCB的参考值如下： – Max_Cost :30亿 – Active_Statements:30 – Menory_Limit:多个队列的总和小于gp_vmem_protect_limit *0.9

均匀性：通过概率做到均匀分布 ▪ 稳定性：在相同集群大小下，同一个Tuple每次计算结果相同 ▪ 单调性：扩容过程中，旧节点之间没有数据迁移 ▪ 高效性：对于集群大小为N的时候，时间复杂度为Log(N) – 更多算法细节请参考链接。https://arxiv.org/pdf/1406.2294.pdf – 通过GUC gp_use_legacy_hashops 可以控制，默认是Jump Consistent Hash算法

新部署集群，与现有集群双跑运行，稳定扩展（建议方式） 42 Greenplum扩展规划 Greenplum集群规划 • 业务运营越来越重要 Ø OLAP是根据历史数据，进行准确的统计计算 Ø 考虑过去的问题，为现在的决策提供参考和依据 • 定位与整合 Ø 公司内网GP小数据量计算，GP加载csv数据，GP大数据量统计 Ø 年表与实例无关，可以形成一个整体的大的Greenplum平台 Ø 网络互通，数据互通，相互备份 •

& Proprietary “请找出这样的员工，在Pivotal工作，互相直接 认识， 有一个人名字听起来像是 ‘Peter’ 或者 ‘Pavan’ ，并且最近24小时从一个给定经纬度 的参考点方圆2KM的ATM机上取出了多于 $200的现金” drop function if exists get_people(text,text,integer,integer,float,float);

cost”表示执行对应查询所需要的时间，单位为 ms(毫秒)。查询所消耗的时间越小性能越好。 最后对全部执行 99 个查询的总耗时进行了统计。 *限于测试资源仅做了较小数据集，测试结果仅供参考 e. 结果展示 Greenplum 6.17.0 on openEuler(ARM)测试结果如下： 自此，Greenplum 在欧拉开源操作系统上的合作工作介绍完毕，已经满