 Greenplum Database 管理员指南 6.2.1....................................................................................... - 268 - 机房规划................................................................................................... ................................................................................. - 337 - GP 数据库扩容规划 .................................................................................................. ..................................................................................... - 341 - 新硬件的规划 ..................................................................................................0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1....................................................................................... - 268 - 机房规划................................................................................................... ................................................................................. - 337 - GP 数据库扩容规划 .................................................................................................. ..................................................................................... - 341 - 新硬件的规划 ..................................................................................................0 码力 | 416 页 | 6.08 MB | 1 年前3
 Greenplum 精粹文集供了编译后的模块开箱即用,如:oraface、postgis、pgcrypt 等, 对于其它模块,用户可以自行将 contrib 下的代码与 Greenplum 的 include 头文件编译后,将动态 so 库文件部署到所有节点就可进行测 试使用了。有些模块还是非常好用的,例如:oraface,基本上集成了 Oracle 常用的函数到 Greenplum 中,曾经在一次 PoC 测试中,用户 提供的 消耗。 Mapreduce 没有统计信息,不能做基于 cost-base 的优化;MPP 数据库可以利用统计信息很好地进行并行计算优化。例如,MPP 对 于不同分布的数据可以在计算中基于 Cost 动态决定最优执行路径, 如采用重分布还是小表广播。 Big Date2.indd 13 16-11-22 下午3:38 14 ·Reduce 效率对比: 对比于 MPP 数据库的 SQL 执行器 Greenplum 的 使 用 案 例 介 绍 了 Greenplum 产品在高吞吐、开放性、 易扩展等方面的卓越表现及其带 给客户的高价值。下面我们将从最佳实践方面介绍下 Greenplum 在具 体规划实施时,如何选取硬件。 Greenplum 是 通 过 软 件将多台 x86 服务器的 硬件组织在一起同时对 外提供服务,从而达到 高速处理的能力,为了 达到这样的目的,硬件 之间要彼此互通,并且0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集供了编译后的模块开箱即用,如:oraface、postgis、pgcrypt 等, 对于其它模块,用户可以自行将 contrib 下的代码与 Greenplum 的 include 头文件编译后,将动态 so 库文件部署到所有节点就可进行测 试使用了。有些模块还是非常好用的,例如:oraface,基本上集成了 Oracle 常用的函数到 Greenplum 中,曾经在一次 PoC 测试中,用户 提供的 消耗。 Mapreduce 没有统计信息,不能做基于 cost-base 的优化;MPP 数据库可以利用统计信息很好地进行并行计算优化。例如,MPP 对 于不同分布的数据可以在计算中基于 Cost 动态决定最优执行路径, 如采用重分布还是小表广播。 Big Date2.indd 13 16-11-22 下午3:38 14 ·Reduce 效率对比: 对比于 MPP 数据库的 SQL 执行器 Greenplum 的 使 用 案 例 介 绍 了 Greenplum 产品在高吞吐、开放性、 易扩展等方面的卓越表现及其带 给客户的高价值。下面我们将从最佳实践方面介绍下 Greenplum 在具 体规划实施时,如何选取硬件。 Greenplum 是 通 过 软 件将多台 x86 服务器的 硬件组织在一起同时对 外提供服务,从而达到 高速处理的能力,为了 达到这样的目的,硬件 之间要彼此互通,并且0 码力 | 64 页 | 2.73 MB | 1 年前3
 Pivotal Greenplum 5: 新一代数据平台长久以来 在市场上取得的成功。从 2017 年初开始,他们每个月发布一次 Greenplum 更新,使其保有快速而可靠的创新力。 此次推 出的 Greenplum 5 是一个功能齐全、动态的、创新型分析数据平台,其产品路线图规划健全且充满活力,无论是短期内还 是未来长期时间里,都能满足客户的需求。 支持多种云不受限于基础架构的数据平台 Pivotal Greenplum 5 是首个内核百分百基于 Greenplum GPORCA:Pivotal 查询优化器更新 对直到最近,Greenplum 一直采用传统查询优化器 (LQO) 。这是适用于 Greenplum 代码库的原始 PostgreSQL 规划器的衍 生产品。PostgreSQL 规划器最初是为单节点 PostgreSQL 设计的,更适用于 OLTP 查询,而不是分析数据平台中长时间运 行的查询。尽管具有精心设计的连接排序之类的功能,但架构和设计选项导致维护和添加新功能变得越来越难。1 Greenplum 能够处理复杂得多 的 CTE,因为它不必将其完全展开,只需对其进行动态处理即可。GPORCA 生成 CTE 计划的速度比传统规划器优化器平 均要快 7 倍。6 要整理大型表中的数据,一种常见方法就是使用分区。Greenplum 5 采用 GPORCA 作为默认查询优化器,可确定消除与结 果无关的分区的经济方式,从而改进动态分区消除。这是通过引入以下三个新的查询操作符实现的,这三个操作符在生成0 码力 | 9 页 | 690.33 KB | 1 年前3 Pivotal Greenplum 5: 新一代数据平台长久以来 在市场上取得的成功。从 2017 年初开始,他们每个月发布一次 Greenplum 更新,使其保有快速而可靠的创新力。 此次推 出的 Greenplum 5 是一个功能齐全、动态的、创新型分析数据平台,其产品路线图规划健全且充满活力,无论是短期内还 是未来长期时间里,都能满足客户的需求。 支持多种云不受限于基础架构的数据平台 Pivotal Greenplum 5 是首个内核百分百基于 Greenplum GPORCA:Pivotal 查询优化器更新 对直到最近,Greenplum 一直采用传统查询优化器 (LQO) 。这是适用于 Greenplum 代码库的原始 PostgreSQL 规划器的衍 生产品。PostgreSQL 规划器最初是为单节点 PostgreSQL 设计的,更适用于 OLTP 查询,而不是分析数据平台中长时间运 行的查询。尽管具有精心设计的连接排序之类的功能,但架构和设计选项导致维护和添加新功能变得越来越难。1 Greenplum 能够处理复杂得多 的 CTE,因为它不必将其完全展开,只需对其进行动态处理即可。GPORCA 生成 CTE 计划的速度比传统规划器优化器平 均要快 7 倍。6 要整理大型表中的数据,一种常见方法就是使用分区。Greenplum 5 采用 GPORCA 作为默认查询优化器,可确定消除与结 果无关的分区的经济方式,从而改进动态分区消除。这是通过引入以下三个新的查询操作符实现的,这三个操作符在生成0 码力 | 9 页 | 690.33 KB | 1 年前3
 Greenplum 新一代数据管理和数据分析解决方案客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有,昂贵 不可扩展 针对OLTP进行了优化 主流 10 数据库行业所面临的挑战 0 1 2 3 4 5 6 企业数据集合:主要的优势 • 实体整合 • 提高服务器使用率 • 降低总硬件成本 • 降低能量成本 • 可以预估的服务等级 • 确保关键任务的可靠性 • 最出色的性能 • 高度灵活性 • 逐步扩展计算能力 • 动态措施 • 数据访问: • 在一个系统中协调所有企业数据的位置 • 可以通过任何语言(SQL、M/R等)进行分析 14 强大并且不断扩展的合作伙伴网络 硬件供应商 商务智能工具 15 服务供应商 通过经济的方案扩展 到千万亿字节规模 • 不用担心数据增长或 者开始的规模太小 • 在商用硬件上通过线 性、经济的方式扩展 Greenplum数据引擎体系 主机 网络互连 并行查询规划和调度 区段服务器 (处理和存储) SQL 查询和 MapReduce程序 MPP (海量并行处理) “完全不共享”体系 Greenplum体系:并行数据流 21 • 通用并行数据流引擎可以通过本地方0 码力 | 45 页 | 2.07 MB | 1 年前3 Greenplum 新一代数据管理和数据分析解决方案客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有,昂贵 不可扩展 针对OLTP进行了优化 主流 10 数据库行业所面临的挑战 0 1 2 3 4 5 6 企业数据集合:主要的优势 • 实体整合 • 提高服务器使用率 • 降低总硬件成本 • 降低能量成本 • 可以预估的服务等级 • 确保关键任务的可靠性 • 最出色的性能 • 高度灵活性 • 逐步扩展计算能力 • 动态措施 • 数据访问: • 在一个系统中协调所有企业数据的位置 • 可以通过任何语言(SQL、M/R等)进行分析 14 强大并且不断扩展的合作伙伴网络 硬件供应商 商务智能工具 15 服务供应商 通过经济的方案扩展 到千万亿字节规模 • 不用担心数据增长或 者开始的规模太小 • 在商用硬件上通过线 性、经济的方式扩展 Greenplum数据引擎体系 主机 网络互连 并行查询规划和调度 区段服务器 (处理和存储) SQL 查询和 MapReduce程序 MPP (海量并行处理) “完全不共享”体系 Greenplum体系:并行数据流 21 • 通用并行数据流引擎可以通过本地方0 码力 | 45 页 | 2.07 MB | 1 年前3
 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum于长久以来在市场上取得的成功。 从 2017 年初开始,他们基本上每个月发布一次 Greenplum 更新,使其保有快速而可靠的创新力。Greenplum 是一 个功能齐全、动态的、创新型分析数据平台,其产品路线图规划健全且充满活力,无论是短期内还是未来长期时间里, 都能满足客户的需求。 支持多种云不受限于基础架构的数据平台 Greenplum 自从开源以来,可以通过 cn.greenplum0 码力 | 17 页 | 2.04 MB | 1 年前3 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum于长久以来在市场上取得的成功。 从 2017 年初开始,他们基本上每个月发布一次 Greenplum 更新,使其保有快速而可靠的创新力。Greenplum 是一 个功能齐全、动态的、创新型分析数据平台,其产品路线图规划健全且充满活力,无论是短期内还是未来长期时间里, 都能满足客户的需求。 支持多种云不受限于基础架构的数据平台 Greenplum 自从开源以来,可以通过 cn.greenplum0 码力 | 17 页 | 2.04 MB | 1 年前3
 并行不悖- OLAP 在互联网公司的实践与思考赵飞祥 2 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度:过去 - 现在 - 未来 (数据的生命周期) • “现在”的数据 —— OLTP • “过去”的数据 —— OLAP • “未来”的数据 具备海量的数据存储和计算性能 9 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 10 greenplum体系架构 postgresql体系结构 11 greenplum体系架构 postgresql体系结构 • pg结构组成 Ø 连接关系系统 Ø 编译执行系统 外部访问 15 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 16 Greenplum现状说明 Greenplum集群现状概述 • 三大Greenplum集群体系 Ø 公司IDC_01机房Greenplum体系 Ø 公司IDC_02机房Greenplum体系0 码力 | 43 页 | 9.66 MB | 1 年前3 并行不悖- OLAP 在互联网公司的实践与思考赵飞祥 2 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度:过去 - 现在 - 未来 (数据的生命周期) • “现在”的数据 —— OLTP • “过去”的数据 —— OLAP • “未来”的数据 具备海量的数据存储和计算性能 9 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 10 greenplum体系架构 postgresql体系结构 11 greenplum体系架构 postgresql体系结构 • pg结构组成 Ø 连接关系系统 Ø 编译执行系统 外部访问 15 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 16 Greenplum现状说明 Greenplum集群现状概述 • 三大Greenplum集群体系 Ø 公司IDC_01机房Greenplum体系 Ø 公司IDC_02机房Greenplum体系0 码力 | 43 页 | 9.66 MB | 1 年前3
 Greenplum上云与优化ApsaraDB for Greenplum介绍 2016Postgres中国用户大会 目 录 content ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 2016Postgres中国用户大会 ApsaraDB for GP的定位 2016Postgres中国用户大会 ApsaraDB for GP的定位 GP的优势? 与其他技术的对比? backend CGroup backend backend backend CGroup Public CGroup Kill –USR2 2016Postgres中国用户大会 未来规划 满足客户需求! 列存优化 – 某些场景下提高数倍性能 CPU优化 – 对GP执行器的静态编译优化 流式备份 – 实时的物理备份 社区参与 – 成为社区积极的贡献者 2016Postgres中国用户大会0 码力 | 26 页 | 1.13 MB | 1 年前3 Greenplum上云与优化ApsaraDB for Greenplum介绍 2016Postgres中国用户大会 目 录 content ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 2016Postgres中国用户大会 ApsaraDB for GP的定位 2016Postgres中国用户大会 ApsaraDB for GP的定位 GP的优势? 与其他技术的对比? backend CGroup backend backend backend CGroup Public CGroup Kill –USR2 2016Postgres中国用户大会 未来规划 满足客户需求! 列存优化 – 某些场景下提高数倍性能 CPU优化 – 对GP执行器的静态编译优化 流式备份 – 实时的物理备份 社区参与 – 成为社区积极的贡献者 2016Postgres中国用户大会0 码力 | 26 页 | 1.13 MB | 1 年前3
 Greenplum数据仓库UDW - UCloud中立云计算服务商END [ WORK | TRANSACTION ] 命令: EXECUTE 描述: 执⾏⼀个准备好的语句 语法: EXECUTE 规划名称 [ (参数 [, ...] ) ] 命令: EXPLAIN 描述: 显⽰语句的执⾏规划 语法: EXPLAIN [ ANALYZE ] [ VERBOSE ] 语句 命令: FETCH 描述: 恢复来⾃⼀个使⽤游标查询的⾏ SHARE | SHARE ROW EXCLUSIVE | EXCLUSIVE | ACCESS EXCLUSIVE 命令: PREPARE 描述: 为执⾏准备⼀条语句 语法: PREPARE 规划名称 [ (数据类型 [, ...] ) ] AS 语句 命令: REINDEX 描述: 重建索引 语法: REINDEX { DATABASE | TABLE | INDEX } 名字0 码力 | 206 页 | 5.35 MB | 1 年前3 Greenplum数据仓库UDW - UCloud中立云计算服务商END [ WORK | TRANSACTION ] 命令: EXECUTE 描述: 执⾏⼀个准备好的语句 语法: EXECUTE 规划名称 [ (参数 [, ...] ) ] 命令: EXPLAIN 描述: 显⽰语句的执⾏规划 语法: EXPLAIN [ ANALYZE ] [ VERBOSE ] 语句 命令: FETCH 描述: 恢复来⾃⼀个使⽤游标查询的⾏ SHARE | SHARE ROW EXCLUSIVE | EXCLUSIVE | ACCESS EXCLUSIVE 命令: PREPARE 描述: 为执⾏准备⼀条语句 语法: PREPARE 规划名称 [ (数据类型 [, ...] ) ] AS 语句 命令: REINDEX 描述: 重建索引 语法: REINDEX { DATABASE | TABLE | INDEX } 名字0 码力 | 206 页 | 5.35 MB | 1 年前3
 Pivotal Greenplum 最佳实践分享s 50 NA Instance实例数的配置建议 • Instance是GPDB的最小并行单元,每个Segment 节点一般配置4~8个Instance,初始化完成后很 难修改,需要提前规划; • 每个Instance都是一套独立的进程,当客户端 发起一个请求时,每个Instance都将FORK子进 程并行工作; • 对于并发请求高、面向于复杂的灵活查询的系 统,建议每个Seg0 码力 | 41 页 | 1.42 MB | 1 年前3 Pivotal Greenplum 最佳实践分享s 50 NA Instance实例数的配置建议 • Instance是GPDB的最小并行单元,每个Segment 节点一般配置4~8个Instance,初始化完成后很 难修改,需要提前规划; • 每个Instance都是一套独立的进程,当客户端 发起一个请求时,每个Instance都将FORK子进 程并行工作; • 对于并发请求高、面向于复杂的灵活查询的系 统,建议每个Seg0 码力 | 41 页 | 1.42 MB | 1 年前3
 Greenplum资源管理器Resource Group • What’s more? – ALTER RESOURCE GROUP • 延迟生效 • merge proposed value to real value – 动态迁移事务到其他group • 一致性 • 死锁 – Disk IO control? • buffered write? – Network IO control? – ... 2017 年象行中国(杭州0 码力 | 21 页 | 756.29 KB | 1 年前3 Greenplum资源管理器Resource Group • What’s more? – ALTER RESOURCE GROUP • 延迟生效 • merge proposed value to real value – 动态迁移事务到其他group • 一致性 • 死锁 – Disk IO control? • buffered write? – Network IO control? – ... 2017 年象行中国(杭州0 码力 | 21 页 | 756.29 KB | 1 年前3
共 12 条
- 1
- 2













