 Greenplum Database 管理员指南 6.2.1的性能是完全线性扩展的,数据直接在 gpfdist 和 Primary 之间并行传输,数据的 重分布直接在 Primary 之间完成,整个架构没有瓶颈点。 管理与监控 对 GP 系统的管理,可以通过一系列的命令行来实现,它们都存放在$GPHOME/bin 目录下。GP 提供的命令可以实现如下的管理任务:  在多个主机上批量执行命令(gpssh)  初始化 GP 集群(gpinitsystem) gpadmin)。 $PGUSER 支持的客户端应用 可以使用这些客户端应用连接 GP 数据库:  在 GP 安装时提供的客户端应用。psql 提供了交互式的命令行方式访问 GP。 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 40 -  针对 在使用这些客户端应用程序时,必须通过 GP Master 来访问数据库,必须知道需 要访问的目标 DB Name、Host Name、Port 以及连接使用的 User Name。这些参 数在命令行可以分别使用-d、-h、-p 和-U 提供。没有指定任何选项的参数会优先被 解读为 DB Name。 那些有缺省值的参数可以不指定。缺省的 Host Name 是 localhost。缺省的0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1的性能是完全线性扩展的,数据直接在 gpfdist 和 Primary 之间并行传输,数据的 重分布直接在 Primary 之间完成,整个架构没有瓶颈点。 管理与监控 对 GP 系统的管理,可以通过一系列的命令行来实现,它们都存放在$GPHOME/bin 目录下。GP 提供的命令可以实现如下的管理任务:  在多个主机上批量执行命令(gpssh)  初始化 GP 集群(gpinitsystem) gpadmin)。 $PGUSER 支持的客户端应用 可以使用这些客户端应用连接 GP 数据库:  在 GP 安装时提供的客户端应用。psql 提供了交互式的命令行方式访问 GP。 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 40 -  针对 在使用这些客户端应用程序时,必须通过 GP Master 来访问数据库,必须知道需 要访问的目标 DB Name、Host Name、Port 以及连接使用的 User Name。这些参 数在命令行可以分别使用-d、-h、-p 和-U 提供。没有指定任何选项的参数会优先被 解读为 DB Name。 那些有缺省值的参数可以不指定。缺省的 Host Name 是 localhost。缺省的0 码力 | 416 页 | 6.08 MB | 1 年前3
 并行不悖- OLAP 在互联网公司的实践与思考业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 • 4 结果数据的展现 —— 数据集市 • 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 • 7 结果数据的交互 —— OLTP,趋势分析 • 8 OLAP数据流转 —— dbsync平台 7 数据仓库体系架构 数据架构示意图 8 数据仓库体系架构 架构的具体技术实现 • datax,csv,load,copy Ø 数据同步结果确认与显示 • 数据同步方式 Ø gpfdist+外部表 : UMGW大表 Ø db_sync同步程序 : 底层库 + 同步逻辑 + Django界面 Ø 临时同步需求: datax , copy 29 Greenplum运维体系 数据库数据传输与同步-db_sync 30 Greenplum运维体系 数据库数据传输与同步-db_sync Ø单个存储过程,可以在shell中 select func_name() 的方式调度 • 外部任务调度 Ø将整个过程封装成shell脚本,或 Python脚本 Ø用crontab在操作系统调用脚本 Ø用 opencron在图形界面调用脚本 32 Greenplum运维体系 Greenplum任务调度-opencron 33 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范0 码力 | 43 页 | 9.66 MB | 1 年前3 并行不悖- OLAP 在互联网公司的实践与思考业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 • 4 结果数据的展现 —— 数据集市 • 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 • 7 结果数据的交互 —— OLTP,趋势分析 • 8 OLAP数据流转 —— dbsync平台 7 数据仓库体系架构 数据架构示意图 8 数据仓库体系架构 架构的具体技术实现 • datax,csv,load,copy Ø 数据同步结果确认与显示 • 数据同步方式 Ø gpfdist+外部表 : UMGW大表 Ø db_sync同步程序 : 底层库 + 同步逻辑 + Django界面 Ø 临时同步需求: datax , copy 29 Greenplum运维体系 数据库数据传输与同步-db_sync 30 Greenplum运维体系 数据库数据传输与同步-db_sync Ø单个存储过程,可以在shell中 select func_name() 的方式调度 • 外部任务调度 Ø将整个过程封装成shell脚本,或 Python脚本 Ø用crontab在操作系统调用脚本 Ø用 opencron在图形界面调用脚本 32 Greenplum运维体系 Greenplum任务调度-opencron 33 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范0 码力 | 43 页 | 9.66 MB | 1 年前3
 基于 Greenplum 打造SaaS化电商服务平台担极端复杂的在线分 析,有待验证 数据集市 报表 CRM 胜算 …… …… …… …… 数据仓库演变 2015 2016 2017 2018 2019 2014原始阶段 2016.4全新报表界面:梳理业务、开发报表 2016.9自建GP集群,上线工作量统计 2018.3HDB4PG 2017.1报表全面迁移至GP 2017.6集群拆分 2018.9全面切换HDB4PG 20180 码力 | 7 页 | 547.94 KB | 1 年前3 基于 Greenplum 打造SaaS化电商服务平台担极端复杂的在线分 析,有待验证 数据集市 报表 CRM 胜算 …… …… …… …… 数据仓库演变 2015 2016 2017 2018 2019 2014原始阶段 2016.4全新报表界面:梳理业务、开发报表 2016.9自建GP集群,上线工作量统计 2018.3HDB4PG 2017.1报表全面迁移至GP 2017.6集群拆分 2018.9全面切换HDB4PG 20180 码力 | 7 页 | 547.94 KB | 1 年前3
 Greenplum 6新特性:
在线扩容工具GPexpand剖析点来支持更大容量的存储和更高的计算能力。 • 随着Greenplum一起安装发布,在$GPHOME/bin下面,和其 他辅助工具,如gpstart,gpstop,gpactivatestandby一样,是一个 用python写的命令行脚本。 GPExpand简介与具体用法 • GPExpand工作流程 – 建立并添加新节点 – 数据重分布 GPExpand简介与具体用法 • 增加新节点 – gpexpand –i 配置文件0 码力 | 37 页 | 1.12 MB | 1 年前3 Greenplum 6新特性:
在线扩容工具GPexpand剖析点来支持更大容量的存储和更高的计算能力。 • 随着Greenplum一起安装发布,在$GPHOME/bin下面,和其 他辅助工具,如gpstart,gpstop,gpactivatestandby一样,是一个 用python写的命令行脚本。 GPExpand简介与具体用法 • GPExpand工作流程 – 建立并添加新节点 – 数据重分布 GPExpand简介与具体用法 • 增加新节点 – gpexpand –i 配置文件0 码力 | 37 页 | 1.12 MB | 1 年前3
 Greenplum 编译安装和调试供了非常直观、强大、易用的调试环境,包括 clion、eclipse、xcode 等。IDE 对于学习 Greenplum 代码也非常有帮助,可以大大提高效率。 下面简单介绍如何使用 clion 图形化用户界面调试 Greenplum 代码。(Eclipse、VisualCode具有 类似功能) Greenplum 进程都是 daemon 进程,很难通过启动方式进入调试器。因而通常使用的方法是 attach0 码力 | 15 页 | 2.07 MB | 1 年前3 Greenplum 编译安装和调试供了非常直观、强大、易用的调试环境,包括 clion、eclipse、xcode 等。IDE 对于学习 Greenplum 代码也非常有帮助,可以大大提高效率。 下面简单介绍如何使用 clion 图形化用户界面调试 Greenplum 代码。(Eclipse、VisualCode具有 类似功能) Greenplum 进程都是 daemon 进程,很难通过启动方式进入调试器。因而通常使用的方法是 attach0 码力 | 15 页 | 2.07 MB | 1 年前3
共 5 条
- 1













