[⽬录名] 改变当前的⼯作⽬录 \encoding [编码] 显⽰或设置客⼾端编码 \h [名字] SQL命令的语法帮助 \set [名字 ［值］] 设置内部变量 \timing 查询计时开关切换（默认关闭） \unset 名字 取消（删除）内部变量 3. 查询缓冲区选项 开发指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 104/206 json_object(text[]) 输⼊的⽂本数组构建⼀个 JSON 对象。 输⼊的数组要么就是由偶数个成员组成的⼀维数组， 数组中的每两个成员组成⼀个键值对； 要么就是⼀个⼆维数组，并且每个内部数组都正好包含 两个元素， 这两个元素组成⼀个键值对。例如： UDW中Json类型 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 145/206 基于UDW实现⽹络流分析 实现⽹络流分析 背景介绍 背景介绍 ⽹络流分析主要包括对⽤⼾的⽹络流数据进⾏存储和多维度的分析两部分。⽤⼾的⽹络流的数据每天产⽣400G左右，数据保留10天。针对⽹络流数据的分析主要包含流量分析、包量分析、 TCP延迟分析、HTTP状态码分析、TCP重传分析等。 UDW 使⽤案例 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得

Big Date2.indd 5 16-11-22 下午3:38 6 相信这些特点已经足够了，据说很多互联网公司采用 Mysql 来做 OLTP 的同时，却采用 Postgresql 来做内部的 OLAP 分析数据库，甚 至对新的 OLTP 系统也直接采用 Postgresql。 相比之下，Greenplum 更强悍，把 Postgresql 作为实例（该实例非 Oracle实例概念， 再通俗点说，Greenplum 主要定位在 OLAP 领域，利用 Greenplum MPP 数据库做大数据计算或分析平台非常适合，例如 : 数据仓库系统、 ODS 系统、ACRM 系统、历史数据管理系统、电信流量分析系统、移 动信令分析系统、SANDBOX 自助分析沙箱、数据集市等等。 Big Date2.indd 11 16-11-22 下午3:38 12 而 MPP 数据库都不擅长做 OLTP 最后，提一下，GreenplumMPP 数据库支持用“Hadoop 外部表“方 式来访问、加载 HadoopFS 的数据，虽然 Greenplum 的 Hadoop 外部 表性能大幅低于 MPP 内部表，但比 Hadoop 自身的 HIVE 要高很多（在 某金融客户的测试结果，比 HIVE 高 8 倍左右），因此可以考虑在项 目中同时部署 MPP 数据库和 Hadoop，MPP 用于交互式高性能分析，

官方文档不一致。 编者提醒，升级版本极其重要，4 版本早该淘汰了，5 版本和 6 版本都带来了极大 的性能和稳定性的提升。 声明 本文档的版权归[陈淼]个人所有，未经许可和授权不得抄袭和引用。 本文档中的绝大部分内容都经过编者重新考量和实测验证，有些观点与官方手册有 出入，仅代表编者本人观点，与官方手册无关。本书中可能会提及一些非官方的命令和 工具等，仅用于讲解相 Instance 都需要执行相 应的处理，网络层涉及到 Instance 之间的通信和数据传输，网络层可以使用标准的 以太网协议。不要认为网络只是连通作用，请按照 GP 的安装部署要求，必须使用万兆 网络作为内部互联网络，否则，一定会遭受很多网络方面的困扰。 在缺省情况下，网络层使用 UDPIFC 协议。这是经过改善的 UDP 协议，在 UDP 协 议的基础上增强了数据包校验，其可靠性与 TCP 协议相似，但其性能和扩展性远好于 库上的(称为 Instance)。这些独立的数据库通过网络进行通信(称为内联网络)。分 布式数据库的一个基本特征是，用户和客户端程序在访问时如同访问一个单机数据库 (GP 访问 Master)一样方便，数据库内部的分布式实现不需要用户过多的关心，对于 客户端应用来说，访问 GP 数据库与单机数据库没有什么区别。不过，对于开发人员和 DBA 来说，要更好的用好 GP 数据库，还是需要了解和掌握分布式数据库的概念，了解

00（5亿）,AGE大于5亿自动告警  xid_stop_limit: 1000000000， AGE大于10亿停止工作，等待vacuum执行 数据库对象数上限的最佳实践  GPDB内部的对象：所有的表（包括分区表）、索引、视图等都称为对象  GPDB最佳实践所推荐的对象管理要求是：一个数据库内对象不要超过10 0000个  最佳实践是出于对系统性能和稳定性因素建议对pg_class 承，新增的对象需要Grant授权给相应用户。  用户可以属于多个角色组role，用户可以从role继承权限  建议在系统建设时，按照功能、权限划分为较为固定的数个角色组，新增对象时只要把权限Grant到 相应角色组 即可，不需要再按照使用者单独授权，这种方式对于查询用户较多的系统能简化权限管理。  同一个对象内的数据，如果需要分类授权（例如按照机构号，用户只能查看各自所属机构数据），采 看各自所属机构数据），采 用多个视图（视图也是一个对象）映像的方式进行权限划分，然后再将视图进行授权。 SQL被lock了怎么处理  当一个SQL 较长时间都都没有完成，可以怀疑是某些资源被LOCK了  查看是否被锁的方法： – Select*from pg_state_acitivty的waiting状态是否为true – Select*fromgp_toolkit

中，这种灵活性将成倍增长。Pivotal Greenplum 目前可在 Amazon Web Services、Microsoft Azure 和 Google 云平台上运行，并且同时支持自带使用授权 (BYOL) 配置和以小时为单位的按需配置。只需选择要在群集中调配的数据节点数量（不超过预定义的最大大小），然后选择一系 列部署选项，群集便会立即启动运行，可供客户使用。 图 2：Pivotal 设计的，更适用于 OLTP 查询，而不是分析数据平台中长时间运 行的查询。尽管具有精心设计的连接排序之类的功能，但架构和设计选项导致维护和添加新功能变得越来越难。1 2010 年底，Greenplum 开始在内部开发一款新型查询优化器，并在 Greenplum 4.3.5 版中首次推出，名为 GPORCA。 GPORCA 能够针对分析数据仓库中常见的一些复杂情况生成更高效的代码，因而非常实用。过去，系统默认使用传统查询 执行计划，并根据成本做出决策。它还能免去不必要的剖析步骤，从而缩短优化时间。与传统查询优化器相比，GPORCA 可以计算更多备选计划，因此能够优化更多查询。3 现代数据分析和商业智能 (BI) 生成的 SQL 查询往往带有相关子查询，内部子查询需要外部查询的相关知识。GPORCA 可 以生成不相关的计划，这种计划只需查询一次。随后，系统将中间结果与主表结合，生成符合用户条件的结果集。借助上 述及其他优化方法，经过 GPORCA 优化的

数据库数据传输与同步-db_sync 30 Greenplum运维体系 数据库数据传输与同步-db_sync 31 Greenplum运维体系 Greenplum任务调度 • greenplum内部存储过程调度 Ø大批量任务采用 kettle调度 Ø单个存储过程，可以在shell中 select func_name() 的方式调度 • 外部任务调度 Ø将整个过程封装成shell脚本，或 Python脚本 列存储表 Ø 多种表类型结合 • 表的命名 Ø GP内所有名称都小写 Ø table_name命名要符合命名规则，做到见名知义 36 Greenplum开发规范 用户与权限规范 • 四层授权保保障 Ø 角色 role ： 管理数据库内对象权限 Ø 用户 user ： 用户认证权限 Ø pg_hba.conf ： 实例权限配置文件 Ø iptables : 防火墙IP访问配置策略 •

法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有，昂贵 不可扩展 针对OLTP进行了优化 主流

Greenplum建议在Segment host上建多个Segment数 据库，数量等于实际的CPU的core数。 Greenplum架构: 内部网络 Segment host与master是通过greenplum的内部网络互 联起来的，外部用户不需要访问这个内部网络的。 Segment 与Segment之间是有网络连接的，所以 Segment之间可以直接交互数据的。 Greenplum默认使用UDP协议，不过我们发现UDP有 理解greenplum分布式数据库 理解GP分布式数据库 理解GP的数据分布策略 Hash分布：按分布键对数据时行hash分布，这个hash 分布算法没有公布，只有greenplum内部知道数据是如 何hash分布的。 随机分布：数据随机分布在数据库，每次查询都会查询 所有的 segment。 GP的SQL支持程度 基本上绝大多数PostgreSQL支持的SQL，在

Greenplum on Kubernetes Greenplum Operator 总结 云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 → 半结构化/无模式 ○ 数据隔离 → 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求

工具、各种数据源和各种格式的数据等。 ● 集成数据分析平台：支持商业智能（BI）、文本、GIS、图、图像等。流式支持也在开发 中。通过 Pivotal 开源的 Apache 顶级项目 MADlib，Greenplum 可以在数据内部运行 50 多种数据分析和机器学习算法。MADlib 提供 SQL 接口进行数据分析，大大降低了数据分 析的门槛；MADlib 内建于数据库内，使用 MPP 的优势，提高了分析的效率；MADlib