Pivotal Greenplum 最佳实践分享http://gptext.docs.pivotal.io/ Download GPText 2.0: https://network.pivotal.io/ 阿里云 Pivotal Greenplum 最佳实践分享 陈淼 Pivotal大中华区大数据资深架构师 目录 Greenplum运维常见问题 Greenplum运维常用命令 xid_stop_limit: 1000000000, AGE大于10亿停止工作,等待vacuum执行 数据库对象数上限的最佳实践 GPDB内部的对象:所有的表(包括分区表)、索引、视图等都称为对象 GPDB最佳实践所推荐的对象管理要求是:一个数据库内对象不要超过10 0000个 最佳实践是出于对系统性能和稳定性因素建议对pg_class 所维护的对象数进行约束 减少对象数的方法:0 码力 | 41 页 | 1.42 MB | 1 年前3
并行不悖- OLAP 在互联网公司的实践与思考1 并行不悖 – OLAP 在互联网公司的实践与思考 赵飞祥 2 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度:过去 - 现在 - 未来 (数据的生命周期) • “现在”的数据 ——0 码力 | 43 页 | 9.66 MB | 1 年前3
Greenplum 精粹文集开放性的特性给客户带来的好处,不只是硬件厂商和型号的选择范围, 也包含工程实施过程的便利性。2014 年,该客户大数据平台需要进行 数据搬迁,Greenplum 采用了旧环境数据备份、传输、新环境恢复的 方案,停机时间实际只花了不到 4 天。 相比较而言,其他封闭式系统,需要压缩并备份数据,倒腾出整套设 备搬迁到新数据中心,然后再导入新数据,影响或暂停业务几十天。 两种方案从工程复杂度、人力投入、业务影响来说,开放式架构所带 们 通 过 某 金 融 行 业 客 户 Greenplum 的 使 用 案 例 介 绍 了 Greenplum 产品在高吞吐、开放性、 易扩展等方面的卓越表现及其带 给客户的高价值。下面我们将从最佳实践方面介绍下 Greenplum 在具 体规划实施时,如何选取硬件。 Greenplum 是 通 过 软 件将多台 x86 服务器的 硬件组织在一起同时对 外提供服务,从而达到 高速处理的能力,为了 架构,关于有、无 master 架构业界一直 有所争论。 从功能上而言 master 节点是对外服务的入口,用户所有的请求都必须 先经过 master,所以 master 节点的可用性直接关系到集群的稳定, 但从实践经验来看,由于 master 节点只存元数据,只负责 SQL 的解析、 分发以及最终计算结果的展现,所以承担的负载一般都非常小,故障 率也极低,在我们维护阿里 Greenplum 集群 3 年的时间里,以及接触0 码力 | 64 页 | 2.73 MB | 1 年前3
Brin Index主Greenplum 7中的理论与实现©2021 VMware, Inc. 3 Confidential │ ©2021 VMware, Inc. Brin Index 在Greenplum 7中的 理论与实践 陈金豹,VMWare内核工程师 Confidential │ ©2021 VMware, Inc. 目录 Brin Index On Heap AppendOnly Table Brin在AppendOnly0 码力 | 32 页 | 1.04 MB | 1 年前3
Pivotal Greenplum 5: 新一代数据平台推出的新一代数据平台,在对经过十几年工程设计投入的产品进行改进的同时带来了多项新功能, 可以帮助组织满足其企业数据仓库和高级分析需求。这个新版本扩充了客户的部署选项,除了目前支持的本地平台以外, 还获得了其他几种云平台的认证。它提供了一个同时支持传统和新型分析工作负载的环境,可帮助客户消除分析孤岛。此外, 它通过有助于加快创新的集成环境,为数据科学家和业务分析师提供多种分析功能。通过新型开发实践、持续交付和开源 软件分发方法,Pivotal0 码力 | 9 页 | 690.33 KB | 1 年前3
Greenplum Database 管理员指南 6.2.1致读者 如果您在阅读和参考本书的过程中发现有任何不妥之处,或者有任何的建议和意见, 欢迎联系编者,本书主要针对 GP 数据库的爱好者进行编写,包括产品的安装和使用说 明,以及最佳实践等内容。本书的发布更新情况与编者的时间有关,不做承诺。 编写: 陈淼 电邮: miaochen@mail.ustc.edu.cn Greenplum Database 管理员指南 V6 ................................................................................ - 24 - 角色与权限安全的最佳实践 ............................................................................................ - 24 - .................................................................................. - 150 - 创建视图的最佳实践 .............................................................................................. - 1510 码力 | 416 页 | 6.08 MB | 1 年前3
Greenplum 编译安装和调试到已经运行的进程。 首先启动 clion,导入 Greenplum 源代码项目。clion 需要 CMakeLists.txt 文件构建工程项目。将 下面的 CMakeLists.txt 放到 Greenplum 源代码目录的顶层目录中,再启动 clion 既可建立合适的 工程项目。 $ cat CMakeLists.txt cmake_minimum_required(VERSION 3.8)0 码力 | 15 页 | 2.07 MB | 1 年前3
Greenplum开源MPP数据库介绍Greenplum 开源MPP数据仓库介绍 李晓亮Greenplum工程师、内核团队经理 Confidential │ ©2022 VMware, Inc. 2 Agenda Ø Greenplum简介 Ø Greenplum的MPP架构 Ø 分布式优化器: Postgres planner 和 ORCA Ø 分布式事务和执行 Ø Greenplum存储 0 码力 | 23 页 | 4.55 MB | 1 年前3
深度揭秘Greenplum开源数据库透明加密深度揭秘Greenplum开源数据库 透明加密 Greenplum 研发工程师 王淏舟 1. 我们所面临的问题 2. 基于pgcypto的数据加密方案 3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 我们所面临的问题 什么是Greenplum数据库 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署0 码力 | 48 页 | 10.19 MB | 1 年前3
Greenplum 分布式数据库内核揭秘Confidential │ ©2021 VMware, Inc. Greenplum 分布式数 据库内核揭秘 Greenplum内核开发工程师 2022-03-16 李正龙 Confidential │ ©2021 VMware, Inc. Agenda 2 - Greenplum 分布式数据库简介 - Greenplum 集群化概述 - 分布式数据存储与多态存储 - 分布式查询优化器与执行器0 码力 | 31 页 | 3.95 MB | 1 年前3
共 11 条
- 1
- 2













