 Greenplum Database 管理员指南 6.2.1Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群: ©2020 Esena Chen(陈淼 miaochen@mail.ustc.edu.cn) 编者工作十几 打磨这个文档,并完 全根据最新的版本特性进行重新整理,希望能对中文爱好者提供一些帮助,在编写过程 中,仍会参考官方文档,但绝不是简单的翻译,甚至有些内容会与官方文档不一致。 编者提醒,升级版本极其重要,4 版本早该淘汰了,5 版本和 6 版本都带来了极大 的性能和稳定性的提升。 声明 本文档的版权归[陈淼]个人所有,未经许可和授权不得抄袭和引用。 本文档中的绝大部 本文档中的绝大部分内容都经过编者重新考量和实测验证,有些观点与官方手册有 出入,仅代表编者本人观点,与官方手册无关。本书中可能会提及一些非官方的命令和 工具等,仅用于讲解相关知识,如有缺失相关细节的情况,请谅解。 致读者 如果您在阅读和参考本书的过程中发现有任何不妥之处,或者有任何的建议和意见, 欢迎联系编者,本书主要针对 GP 数据库的爱好者进行编写,包括产品的安装和使用说 明,以及最佳实践0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群: ©2020 Esena Chen(陈淼 miaochen@mail.ustc.edu.cn) 编者工作十几 打磨这个文档,并完 全根据最新的版本特性进行重新整理,希望能对中文爱好者提供一些帮助,在编写过程 中,仍会参考官方文档,但绝不是简单的翻译,甚至有些内容会与官方文档不一致。 编者提醒,升级版本极其重要,4 版本早该淘汰了,5 版本和 6 版本都带来了极大 的性能和稳定性的提升。 声明 本文档的版权归[陈淼]个人所有,未经许可和授权不得抄袭和引用。 本文档中的绝大部 本文档中的绝大部分内容都经过编者重新考量和实测验证,有些观点与官方手册有 出入,仅代表编者本人观点,与官方手册无关。本书中可能会提及一些非官方的命令和 工具等,仅用于讲解相关知识,如有缺失相关细节的情况,请谅解。 致读者 如果您在阅读和参考本书的过程中发现有任何不妥之处,或者有任何的建议和意见, 欢迎联系编者,本书主要针对 GP 数据库的爱好者进行编写,包括产品的安装和使用说 明,以及最佳实践0 码力 | 416 页 | 6.08 MB | 1 年前3
 Greenplum 编译安装和调试com/greenplum-db/gpdb-postgres-merge。 1. 从源代码编译 Greenplum Greenplum 目前官方支持 Redhat/Centos/SuSE/Ubuntu 等Linux系统。大量开发人员包括我自己 使用Mac系统,但是不在官方支持列表中。 1.1 在 Mac 系统上编译 首先需要关闭苹果操作系统的 SIP 特性,否则无法初始化集群。 1. 重启操作系统 ---------------+--------- 0 | 501 1 | 499 有关如何安装多节点集群,请参考Greenplum官方安装文档。 2.2 集群初始化问题调试 有时候 gpinitsystem 会失败,但是不清楚失败原因是什么。 下面提供一些思路来 RCA: 2.2.1 使用 gpinitsystem 调试模式0 码力 | 15 页 | 2.07 MB | 1 年前3 Greenplum 编译安装和调试com/greenplum-db/gpdb-postgres-merge。 1. 从源代码编译 Greenplum Greenplum 目前官方支持 Redhat/Centos/SuSE/Ubuntu 等Linux系统。大量开发人员包括我自己 使用Mac系统,但是不在官方支持列表中。 1.1 在 Mac 系统上编译 首先需要关闭苹果操作系统的 SIP 特性,否则无法初始化集群。 1. 重启操作系统 ---------------+--------- 0 | 501 1 | 499 有关如何安装多节点集群,请参考Greenplum官方安装文档。 2.2 集群初始化问题调试 有时候 gpinitsystem 会失败,但是不清楚失败原因是什么。 下面提供一些思路来 RCA: 2.2.1 使用 gpinitsystem 调试模式0 码力 | 15 页 | 2.07 MB | 1 年前3
 Greenplum 精粹文集我相信它们的存在都有各自的特点,它们都有成熟的开源社区做支 持,有各自的庞大的 fans 群众基础。我们认为,Greenplum 选择 Postgressql 有以下考虑: Postgresql 号称最先进的数据库(官方主页“The world’s most advanced open source database”), 且不管这是不是自我标榜, 就从 OLAP 分析型方面来考察,以下几点 Postgresql Greenplum 服务器并行加载 的特点,数据可以直接通过网络从 ETL 服务器导入到 Greenplum 计 算节点,所以 ETL 服务器网络和磁盘 IO 的性能直接关系到数据加载 和卸载的性能,官方的测试数据 16 台计算节点 Greenplum 集群, 加载性能可以达到 16TB/ 小时。 ETL 服务器推荐采用的硬件规格:两块万兆网卡(一般多为单网卡双 网口),1 块千兆网卡用于带外管理,内存 Greenplum 产品的 原因之一。每当有新的企业客户使用 Greenplum 产品,就会有一批新 的 Greenplum 工程师被培养出来。 国内的一位 Greenplum 大咖(也是翻译 Greenplum 官方资料的第一 人),曾经说过:学会用 Greenplum 不难,但要用好 Greenplum 就 要下一番苦工。Greenplum 数据库产品在中国一路走来,期间不乏 负面声音。除了竞争对手的恶意中伤以外,所有问题的解决都是我们0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集我相信它们的存在都有各自的特点,它们都有成熟的开源社区做支 持,有各自的庞大的 fans 群众基础。我们认为,Greenplum 选择 Postgressql 有以下考虑: Postgresql 号称最先进的数据库(官方主页“The world’s most advanced open source database”), 且不管这是不是自我标榜, 就从 OLAP 分析型方面来考察,以下几点 Postgresql Greenplum 服务器并行加载 的特点,数据可以直接通过网络从 ETL 服务器导入到 Greenplum 计 算节点,所以 ETL 服务器网络和磁盘 IO 的性能直接关系到数据加载 和卸载的性能,官方的测试数据 16 台计算节点 Greenplum 集群, 加载性能可以达到 16TB/ 小时。 ETL 服务器推荐采用的硬件规格:两块万兆网卡(一般多为单网卡双 网口),1 块千兆网卡用于带外管理,内存 Greenplum 产品的 原因之一。每当有新的企业客户使用 Greenplum 产品,就会有一批新 的 Greenplum 工程师被培养出来。 国内的一位 Greenplum 大咖(也是翻译 Greenplum 官方资料的第一 人),曾经说过:学会用 Greenplum 不难,但要用好 Greenplum 就 要下一番苦工。Greenplum 数据库产品在中国一路走来,期间不乏 负面声音。除了竞争对手的恶意中伤以外,所有问题的解决都是我们0 码力 | 64 页 | 2.73 MB | 1 年前3
 Greenplum 新一代数据管理和数据分析解决方案最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥,加利福尼亚州,美国,成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站: www.greenplum.com www.greenplum-china.com Greenplum:简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功0 码力 | 45 页 | 2.07 MB | 1 年前3 Greenplum 新一代数据管理和数据分析解决方案最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥,加利福尼亚州,美国,成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站: www.greenplum.com www.greenplum-china.com Greenplum:简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功0 码力 | 45 页 | 2.07 MB | 1 年前3
 Pivotal Greenplum 5: 新一代数据平台师提供多种分析功能。通过新型开发实践、持续交付和开源 软件分发方法,Pivotal Greenplum 5 带来了最新一代的数据管理和数据分析功能,这有助于其实现长远成功。 关注 Pivotal 官方微信号 ® 关 注 Pivotal 官 方 微 博 pivotal.io/cn 售前咨询:400-135-89000 码力 | 9 页 | 690.33 KB | 1 年前3 Pivotal Greenplum 5: 新一代数据平台师提供多种分析功能。通过新型开发实践、持续交付和开源 软件分发方法,Pivotal Greenplum 5 带来了最新一代的数据管理和数据分析功能,这有助于其实现长远成功。 关注 Pivotal 官方微信号 ® 关 注 Pivotal 官 方 微 博 pivotal.io/cn 售前咨询:400-135-89000 码力 | 9 页 | 690.33 KB | 1 年前3
 Greenplum机器学习⼯具集和案例LDA ⾃自动分析每个⽂文档,统计⽂文档内的词语,根据统计的信息来断定当 前⽂文档含有哪些主题,以及每个主题所占的⽐比例例各为多少。 主题模型:Latent Dirichlet Allocation (LDA) 2017.thegiac.com 基于LDA特征的聚类 会话 主题分布 K-means 会话聚类 • 把每个会话看成一篇文章 • 百万级别文档 • 词汇量 8000+0 码力 | 58 页 | 1.97 MB | 1 年前3 Greenplum机器学习⼯具集和案例LDA ⾃自动分析每个⽂文档,统计⽂文档内的词语,根据统计的信息来断定当 前⽂文档含有哪些主题,以及每个主题所占的⽐比例例各为多少。 主题模型:Latent Dirichlet Allocation (LDA) 2017.thegiac.com 基于LDA特征的聚类 会话 主题分布 K-means 会话聚类 • 把每个会话看成一篇文章 • 百万级别文档 • 词汇量 8000+0 码力 | 58 页 | 1.97 MB | 1 年前3
 Brin Index主Greenplum 7中的理论与实现Inc. 1 Confidential │ ©2021 VMware, Inc. Greenplum中文社区 https://cn.greenplum.org 博文 · 资料 · 文档 · 项目 Confidential │ ©2021 VMware, Inc. 3 Confidential │ ©2021 VMware, Inc. Brin Index 在Greenplum0 码力 | 32 页 | 1.04 MB | 1 年前3 Brin Index主Greenplum 7中的理论与实现Inc. 1 Confidential │ ©2021 VMware, Inc. Greenplum中文社区 https://cn.greenplum.org 博文 · 资料 · 文档 · 项目 Confidential │ ©2021 VMware, Inc. 3 Confidential │ ©2021 VMware, Inc. Brin Index 在Greenplum0 码力 | 32 页 | 1.04 MB | 1 年前3
 Greenplum分布式事务和两阶段提交协议Greenplum中文社区 https://cn.greenplum.org 博文 资料 文档 项目 全新的问答论坛 分布式事务和 两阶段提交协议 6 ● 事务实现原理和Write Ahead Logging(WAL) ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性:ACID0 码力 | 42 页 | 2.12 MB | 1 年前3 Greenplum分布式事务和两阶段提交协议Greenplum中文社区 https://cn.greenplum.org 博文 资料 文档 项目 全新的问答论坛 分布式事务和 两阶段提交协议 6 ● 事务实现原理和Write Ahead Logging(WAL) ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性:ACID0 码力 | 42 页 | 2.12 MB | 1 年前3
 Greenplum 排序算法Greenplum中文社区 https://cn.greenplum.org 博文 · 资料 · 文档 · 项目 Greenplum内核揭秘之排序算法 5 ● 内排序算法 ● 外排序算法 ● Greenplum TupleSort ● 排序在Greenplum中的应用 Outline 6 ● 冒泡排序 ● 插入排序 ● 快速排序 ● 堆排序 ● 基数排序 内排序算法0 码力 | 52 页 | 2.05 MB | 1 年前3 Greenplum 排序算法Greenplum中文社区 https://cn.greenplum.org 博文 · 资料 · 文档 · 项目 Greenplum内核揭秘之排序算法 5 ● 内排序算法 ● 外排序算法 ● Greenplum TupleSort ● 排序在Greenplum中的应用 Outline 6 ● 冒泡排序 ● 插入排序 ● 快速排序 ● 堆排序 ● 基数排序 内排序算法0 码力 | 52 页 | 2.05 MB | 1 年前3
 Greenplum 6: 混合负载的理想数据平台x/7 ■ PostgreSQL合并:BRIN索引和并行扫描 ■ 锁和事务的优化 ■ 磁盘IO的资源管理 ■ 更多思路? 资源 ■ 中文社区:http://greenplum.cn ■ 文档:https://gpdb.docs.pivotal.io/6-0Beta/main/index.html ■ 代码:https://github.com/greenplum-db/gpdb 由于微信群组规定限制,请首先添加这个入群0 码力 | 52 页 | 4.48 MB | 1 年前3 Greenplum 6: 混合负载的理想数据平台x/7 ■ PostgreSQL合并:BRIN索引和并行扫描 ■ 锁和事务的优化 ■ 磁盘IO的资源管理 ■ 更多思路? 资源 ■ 中文社区:http://greenplum.cn ■ 文档:https://gpdb.docs.pivotal.io/6-0Beta/main/index.html ■ 代码:https://github.com/greenplum-db/gpdb 由于微信群组规定限制,请首先添加这个入群0 码力 | 52 页 | 4.48 MB | 1 年前3
共 10 条
- 1













