才是真正进行数据处理的地方。缺省情况下，用户不能跳过 Master 直接访问 Instance，而只能通过 Master 来访问整个数据库系统，不过，对于管理 员来说，有时需要使用 Utility 模式来访问 Instance，访问方法是： $ PGOPTIONS='-c gp_session_role=utility' psql 在 GP 推荐的硬件配置环境下，每个 Instance 需要对应数个 CPU Core AND)，例如：周二下午 10 点到周三上午 8 点不允许登录。 还可以指定多个限制，例如：周二的任何时间不允许登录并且周五的下午 3 点到 5 点不允许登录。 指明日期和时间 有两种方法指明哪一天。使用 DAY 关键字并紧跟英文的星期几，或者 0~6 的数字， 如下表所示： 英文表述 数字表述 DAY 'Sunday' DAY 0 DAY 'Monday' DAY 255.255.0.0 与 192.168.0.0/16 等价 authentication-m ethod 指定连接时使用的认证方法。例如 trust 为不需要密码，md5 为使用 md5 加密认证。更多细节可以查看 PostgreSQL 文档的认证方法部分。 编辑 pg_hba.conf 文件 下面的例子展示如何编辑 Master 上的 pg_hba.conf

正是在这一背景下产生的，借助于分 布式计算思想，Greenplum 实现了基于数据库的分布式数据存储和并 行计算（GoogleMapReduce 实现的是基于文件的分布式数据存储和 计算，我们会在后面比较这两种方法的优劣性）。 话说当年 Greenplum（当时还是一个 Startup 公司，创始人家门口有 一棵青梅 ——greenplum，因此而得名）召集了十几位业界大咖（据 说来自 google、yahoo、ibm ， 两种技术的相似点在于： ·分布式存储数据在多个节点服务器上 ·采用分布式并行计算框架 ·支持横向扩展来提高整体的计算能力和存储容量 ·都支持 X86 开放集群架构 但两种技术在数据存储和计算方法上，也存在很多显而易见的差异： ·MPP 按照关系数据库行列表方式存储数据（有模式），Hadoop 按照文件切片方式分布式存储（无模式）。 ·两者采用的数据分布机制不同，MPP 采用 Hash Batch（不需要交互式），对计算性能不是 很敏感，那 Hadoop 也是不错的选择，因为 Hadoop 不需要你花费 较多的精力来模式化你的数据，节省数据模型设计和数据加载设计 方面的投入。这些系统包括：历史数据系统、ETL 临时数据区、数 据交换平台等等。 切记，千万不要为了大数据而大数据（就好像不要为了创新而创新一 个道理），否则，你项目最后的产出与你的最初设想可能 将差之千里，行业内不乏失败案例。 最后，提一下，GreenplumMPP

Greenplum 5：新一代数据平台 作为重要的新版本，Pivotal Greenplum 5 带来了多项产品改进和新增功能，在管理数据和对数据库中存储的信息应用数据 科学、分析、报告和数据洞察方法方面，这些功能对大多数客户都很有帮助。Greenplum 解决方案的架构设计目的是管理 非常复杂的查询，以及为符合 ANSI 标准的 SQL 提供强有力的分析改进。通过自动对数据进行分区和并行运行查询，它让 Network 分发的打包版本将具有相同的内核（只有个别微小差 别）。这是两年来致力于与 PostgreSQL 8.3.23 集成的成果，目的在于扩展和融入以 Greenplum 为中心的生态系统和社 区。为了更好地贴合 PostgreSQL 社区的模式，他们对代码库进行了重构，这样一来，便可以更轻松地从最新版本（未来 的 PostgreSQL 9.X 和 10）中纳入 PostgreSQL 新增功能。 软件数据平台，Greenplum 可根据客户需求在任何位置运行。借助这种“不 受限于基础架构”的方法，可以在本地或多云环境（私有云或公有云）中部署同一类型的分析数据库。 无论在商业化的 Pivotal Greenplum 或是开源的 Greenplum Database 中，这种不受限于基础架构的方法的大部分优势都 具有同样强大的作用。在 Greenplum Database 上部署分析系统时，用户还可获得一些额外的优势：

Download GPText 2.0: https://network.pivotal.io/ 阿里云 Pivotal Greenplum 最佳实践分享 陈淼 Pivotal大中华区大数据资深架构师 目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理   GPDB最佳实践所推荐的对象管理要求是：一个数据库内对象不要超过10 0000个  最佳实践是出于对系统性能和稳定性因素建议对pg_class 所维护的对象数进行约束  减少对象数的方法： – 提高分区粒度 – 避免大范围使用列存储  pg_class对象数如果不进行约束，可能会产生以下问题： – gprecoverseg –F效率低，数据库实例修复如果增量同步失 索引使用： • 以数据批处理为主要功能的系统一般不需建索引 • 以并发查询为主要功能，特别OLTP查询（根据KEY，Attribute等作为筛选条件）的系统按照常用字段建索引。 • 建索引的方法：对于区别度高的字段，如账号、手机号码等使用B-Tree索引，对于区别度低的字段（<10000),采用 Bitmap索引； • 表关联时，一般不需要建索引，如果where条件的筛选性很强，建立索引可以让系统性能提升

年 Pivotal 在 github 的开源贡献列表中全球排 名第四左右。 采用开源方案，不担心后门问题，不担心被锁定。开源还可以构建更好的 生态。 ● 采用敏捷软件开发方法开发的平台：Greenplum 采用敏捷方法开发，实现了快速迭代、持 续发布和质量内建。2017 年 Greenplum 发布了 10 个版本，以前发布一个版本需要 1 个 月左右，现在只需要十几个小时。 ● 具 各界的广泛关注。其中 Greenplum 中文社区尤为活跃，目前约有半数的贡献来自中国开发者，社 区贡献者包括阿里云、中移动等大公司，也有诸多中小公司和数据库爱好者。 开源之后，Greenplum 把敏捷软件开发方法学引入到分布式数据库的开发中，通过使用站立会议、 回顾会议、结对编程、持续集成、测试驱动、单周迭代等敏捷方法建立了高效的快速反馈系统， 大大提高了产品的质量和客户的满意度。Greenplum

支持多 样性计算，致力于提供安全、稳定、易用的操作系统。 Greenplum 与欧拉开源社区强强联手，不仅是双方业务用户所期盼的，同时也是 Greenplum 社区与对中国本地开源社 区的深入合作尝试。本次合作对双方打造丰富应用生态注入了鲜活动力！ 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 源代码在各种平台进行编译使用。作为能够独立于专用硬件加速提供高性能的纯软件数据平台，Greenplum 可根据 客户需求在任何位置运行。借助这种“不受限于基础架构”的方法，可以在本地不同的操作系统、不同的芯片环境或多 云环境（私有云或公有云）中部署同一类型的分析数据库。这种不受限于基础架构的方法的大部分优势都具有同样强 大的作用，那就是可以消除对第三方平台、供应商制约，助用户实现选择自由。 Greenplum 保持 创新性的采用了分布式死锁检测，更新删除表的锁级别已降低，支持并发更新删除操作，大大提 升了处理性能。 并发控制优化 Greenplum 6 除了全局死锁检测，还引入了多项其他并发控制优化方法，这些优化对 SELECT 和 INSERT 提升比较 大。一个优化有关 procarray 锁，另一个优化和事务有关，大多数 OLTP 查询带有主键或者分布键，这种查询不需要 两阶段提交（2PC）。

│ ©2021 VMware, Inc. 12 除了支持数据在不同的 segment 节点上水平分布以外，还支持在单个节点按照不同的标准进行分 区，将单个节点上一个逻辑上的大表分割成物理上的几块，且支持多级分区。 Greenplum 目前支持的分区方法有： l 范围分区：根据某个列的时间范围或者数值范围对数据进行分区。譬如以下 SQL 将创建一个按天分区的 分区表，将 2021-01-01 到 Group Key: sales.brand -> Seq Scan on sales 二阶段聚集 l 此时，只需要对在各个节点聚合后的数据进行重分布 l 但需要额外实现 combine() 方法 24 Confidential │ ©2021 VMware, Inc. Greenplum 分布式执行器 QD/QE/火山模型/Gang Confidential │ ©2021 VMware

归并排序的三个问题 23 替换选择算法 24 Knuth 5.4.1R替换选择算法： ● 1. 初始化阶段，读取输入元组至内存，并建立最小堆。 ● 2. 弹出堆顶元组，输出到顺串文件的缓冲区，并记录该元组的排序键为 lastkey。 ● 3. 读取新元组，如果元组排序键大于等于lastkey，插入堆顶，并调整堆，使其有 序。 ● 4. 如果新元组排序键小于lastkey，将该元组放入堆尾，并将堆的大小减1。 个顺串。 替换选择算法 25 ● 问题二：合并阶段假设存在N个输入缓冲区，如何高效的比较N个输入缓冲区的 最小值，并输出到输出缓冲区？ 归并排序的三个问题 26 ● 假设顺串(长度为L)分布在K个文件中，顺串合并时需要K个输入缓冲区和1个输 出缓冲区，每次选取K个缓冲区的最小值，输出到输出缓冲区。最后，输出缓冲 区输出的顺串长度为L*K ● 算法复杂度 O(K* (L*K)) 顺串合并 . . 6 8 34 64 66 . . . 7 11 12 13 17 . . . 22 55 67 77 79 . . . 1 6 7 8 10 . . . 输 出 缓 冲 区 输 入 缓 冲 区 27 败者树算法(GP目前使用堆)： ● 1. 输入每个顺串的第一个记录作为败者树的叶子节点。建立初始化败者树。 ● 2. 两两相比较，父亲节点存储了两个节点比较的败者（节点较大的值）；胜利者

/Jeffrey D.Ullman/Jennifer Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 数据库管理员 数据、元数据、索引 日志页 不同存储介质的访问时间 图片来源：Systems Performance: Enterprise and the Cloud，中译本《性能之巅》， 作者Brendan Gregg 11 缓冲区Buffer Pool page … Buffer Pool Manager (Main Memory) Access Methods and other components dirty bit No-Steal Steal: 允许Buffer Pool里未提交事务所修改的脏页刷回到持久存储 No-steal: 不允许Buffer Pool里未提交事务所修改的脏页刷到持久存储中 缓冲区管理策略Buffer Management Policy 13 ■ Force策略的问题 对持久存储器进行频繁的随机写操作，性能下降。 ■ No-Steal策略的问题 不允许未提交事务的脏页换出，系统的并发量不高。

名字 取消（删除）内部变量 3. 查询缓冲区选项 开发指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 104/206 \e [⽂件名] ⽤⼀个外部编辑器编辑当前查询缓冲区或⽂件 \g［⽂件名］向服务器发送SQL命令 \p 显⽰当前查询缓冲区的内容 \r 重置 (清理) 查询缓冲区 \s [⽂件名] 打印历史或者将其保存到⽂件 打印历史或者将其保存到⽂件 \w [⽂件名] 将查询缓冲区写出到⽂件 4. 输⼊∕输出选项 \echo [字串] 向标准输出写出⽂本 /i ⽂件名 执⾏来⾃⽂件的命令 \o [⽂件名] 向⽂件或者 |管道 发送所有查询结果 5. 信息选项 \d [名字] 描述表, 索引, 序列, 或者视图 \d{t|i|s|v|S} [模式] (加 "+" 获取更多信息) 列出表/索引/序列/视图/系统表 \da