白皮书 开源 Greenplum 新篇章： 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者：Greenplum 中文社区、 欧拉开源社区 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 白皮书 2 白皮书 | 2 目录 关于本白皮书 .................................................................................................................................................. 4 .......................................................................................... 4 欧拉开源操作系统 ................................................................................................

的计算实例，很多时候也叫 Segment Primary ： GP 的主计算实例 Mirror ： GP 的镜像计算实例 MPP ： 大规模并行处理 算子 ： 执行计划中的运算操作 背景简介 多年前，编者翻译了 GP4.2.2 的 AdminGuide，如今，GP 已经历经了无数个版 本更新和迭代，编者也有了更多的感悟，放眼 GP 的中文资料，为之动容，就想着再为 miaochen@mail.ustc.edu.cn Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 3 - 目录 Greenplum Database 管理员指南 .................................................................... ....................................................................................... - 269 - 安装操作系统 ................................................................................................

陈淼 Pivotal大中华区大数据资深架构师 目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理 eshold = 5000000（资料依据项目而定）  Truncate操作不会丢失字段级统计信息，在适当条件下可仅针对系统字段执行Analyze 垃圾空间回收 • GPDB采用MVCC机制，UPDATE 或 DELETE并非物理删除，而只是对无效记 录做标记； • Update/delete操作后，数据库不会自动释放这些空间，这些垃圾空间的回收方 式： 1）Vacuum Full/REORGANIZE：立即释放垃圾空间还给操作系统 Vacuum Full相当于碎片整理； Reorganize相当于重建表，数据表对应的文件名（pg_class -> relfilenode)将会发生改变。 Vacuum Full的处理性能非常低，一般情况下不建议采用，可以用Reorganize代替、或者使用AO表； 系统表不支持Reorganize操作，因此，需要定期vac

等等语言来扩展功能，在后续章节中，我将展现这种扩展 是如何的方便，另外，开发新的功能模块、新的数据类型、新的索 引类型等等非常方便，只要按照 API 接口开发，无需对 PG 重新编译。 PG 中 contrib 目录下的各个第三方模块，在 GP 中的 postgis 空间 数据库、R、Madlib、pgcrypto 各类加密算法、gptext 全文检索都 是通过这种方式实现功能扩展的。 4) 在诸如 ACID ACID 在内的所有特征。 从上图可以看到，Greenplum 的最小并行单元不是节点层级，而是在 实例层级。安装过 Greenplum 的同学应该都看到每个实例都有自己 的 Postgresql 目录结构，都有各自的一套 Postgresql 数据库守护进 程（甚至可以通过 UT 模式进行单个实例的访问）。正因为如此，甚 至一个运行在单节点上的 GreenplumDB 也是一个小型的并行计算架 构，一般一个节点配置 语言简单易学， 具有很强数据操纵能力和过程语言的流程控制能力，SQL 语言是专 门为统计和数据分析开发的语言，各种功能和函数琳琅满目，SQL 语言不仅适合开发人员，也适用于分析业务人员，大幅简化了数据 的操作和交互过程。 而对 MapReduce 编程明显是困难的，在原生的 Mapreduce 开发 框架基础上的开发，需要技术人员谙熟于 JAVA 开发和并行原理， 不仅业务分析人员无法使用，甚至技术人员也难以学习和操控。为

使用Mac系统，但是不在官方支持列表中。 1.1 在 Mac 系统上编译 首先需要关闭苹果操作系统的 SIP 特性，否则无法初始化集群。 1. 重启操作系统 2. 重启过程中按下 command+R 进入恢复模式 3. 从 Utilities 菜单选择 Terminal 4. 执行 csrutil disable 5. 重启操作系统 // 安装Greenplum管理脚本依赖的 Python install psutil lockfile paramiko setuptools epydoc 编译 Greenplum Database 源代码，假定安装到 $HOME/gpdb.master 目录下 $ CFLAGS="-O0 -g3 -ggdb3" \ ./configure --with-perl --with-python --with-libxml --enable-debug 常用的日志文件有两类，一种是 gpinitsystem 的日志，一种是数据库的日志。它们分别保存在不 同的目录下： ● gpinitsystem 的日志文件。默认路径为 ~/gpAdmin/gpinitsystem_*** ● 数据库的日志文件：进入 master （segment 的日志类似）的日志目录 （例如 /data/master/gpseg-1/pg_log/) 查看日志。 这里面有2种类型的日志：

Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性：ACID 属性 含义 数据库系统的实现 Atomic 原子性 事务中的操作要么全部正确执行，要么完全不 执行。 Write Ahead Logging，分布式事务：两阶段提交协议 Consistency 一致性 数据库系统必须保证事务的执行使得数据库 从一个一致性状态转移到另一个一致性状态。 不允许Buffer Pool里未提交事务所修改的脏页刷到持久存储中 缓冲区管理策略Buffer Management Policy 13 ■ Force策略的问题 对持久存储器进行频繁的随机写操作，性能下降。 ■ No-Steal策略的问题 不允许未提交事务的脏页换出，系统的并发量不高。 ▪ No-Force / Steal 有更好的性能，但是怎么保证事务的原子性和持久 性？ ❏ No-Force: 恢复时，从前往后，对提交的事务 的日志做redo操作。 日志 Undo+Redo log(记录旧值和新值) (Steal / No-Force) 恢复时，从前往后对提交事务做 redo操作，从后往前对未提交事务 做undo操作 。 日志

0 码力 | 42 页 | 2.12 MB | 1 年前

3

stop service iptables status chkconfig --list iptables chkconfig --level 0123456 iptables off 2)临时目录/tmp（安装日志） 3)服务器日志（PostgreSQL server error log） 2018年PostgreSQL中国技术大会 微信号：laohouzi999 服务器日志（PostgreSQL ident 认证失败”的错误，明明数据库用户已经createuser。 原因就在于此，使用了ident认证方式，却没有同名的操作系统用户或没 有相应的映射用户。 md5 密码是以md5形式传送给数据库，较安全，且不需建立同名的操作系统用 户。 password password是以明文密码传送给数据库，建议不要在生产环境中使用。 trust 微信号：laohouzi999 Primary segment（gpseg6删除部分文件） Primary segment（gpseg7删除目录） Mirror segment（gpseg4删除目录） mirror segment（gpseg5删除目录） standby master gp-seg4 2018年PostgreSQL中国技术大会 删除primary /data/data0

VMware, Inc. Brin Index 在Greenplum 7中的 理论与实践 陈金豹，VMWare内核工程师 Confidential │ ©2021 VMware, Inc. 目录 Brin Index On Heap AppendOnly Table Brin在AppendOnly Table上的实现 性能测试 5 Confidential │ ©2021 Delele 每个元组代表一组Block每个字段的最大最小值 如果新的数据超出了最大最小值的范围，则更新元组 删除数据时不做任何操作 Confidential │ ©2021 VMware, Inc. Brin Vacuum vacuum不做任何操作 vacuum full重建索引 Confidential │ ©2021 VMware, Inc. Brin Storage Revmap是一个逻辑上的数组，数组下标代表BlockNumber Revmap的value是TID，指向存储有最大最小值的tuple Confidential │ ©2021 VMware, Inc. 目录 Brin Index AppendOnly Table Brin在AppendOnly Table上的实现 性能测试 15 Confidential │ ©2021 VMware

datadir 该节点的数据目录 Greenplum 集群部署 Greenplum 集群部署 • gp_distribution_policy 字段名 描述 localoid 表的OID policytype 分布类型 ‘p’ 分区 ‘r’ 复制表 numsegments 表分布在多少个节点上 diskkey 分布列的序号 distclass 分布列的操作类 GPExpand简介与具体用法 生成模板的过程中，如果catalog被修改怎么保证一致性 ▪ 新增catalog锁 ▪ select gp_expand_lock_catalog() ▪ expand过程中申请写锁 ▪ 其他修改catalog操作时也会申请锁来实现与expand的互斥 改进与实现 • 数据重分布的优化 – 扩容后，新节点没有数据，查询Plan如何做？？？ ▪ 在Greenplum 5和之前的版本里会将所有的表改成随机分布，然后再ALTER成按列 5和之前的版本里会将所有的表改成随机分布，然后再ALTER成按列 分布 ▪ Greenplum 6里引入了numsegments ▪ Numsegments描述了该表连续分布的segment数量，默认与集群大小一致。对每个 表执行操作时也会按照numsegment值分配Gang ▪ 增加新节点后，对每个表做EXPAND后该值会随着改成新集群的大小 改进与实现 改进与实现 • EXPAND每个表 – 对表加最高级别锁（其他读写均被阻塞）

pivotal.io/cn 白皮书 2 © Copyright 2017 Pivotal Software, Inc.保留所有权利。 PIVOTAL GREENPLUM 5：新一代数据平台 目录 关于本白皮书 .......................................................................................... ldavis、lifelines、spaCy、XGBoost、BeautifulSoup、lxml、Keras 和 PyMC3（Tensorflow 和 Keras 需要使用 RHEL 7 作为主机操作系统）。 • Greenplum 5 中 支 持 的 R 语 言 算 法 库 和 程 序 包 有：BH、DBI、MASS、MCMCpack、Matrix、R2jags、R6、 RColorBre 。例如， 在 TPC-DS 中，111 个查询中有 46 个使用了 CTE。GPORCA 为 WITH 子句引入了一种新的生成者 - 使用者模式。利用该模 式，只需计算一个复杂表达式一次，便可由多个操作符使用其计算输出。这就使得 Pivotal Greenplum 能够处理复杂得多 的 CTE，因为它不必将其完全展开，只需对其进行动态处理即可。GPORCA 生成 CTE 计划的速度比传统规划器优化器平