 Greenplum数据仓库UDW - UCloud中立云计算服务商/usr/lib64/libodbcpsqlS.so FileUsage = 1 3. 测试ODBC驱动是否安装成功 # odbcinst -q -d [PostgreSQL] 如果出现以上输出,代表在这台机器上已成功安装了PostgreSQL的ODBC驱动。 4. 编辑/etc/odbc.ini⽂件配置ODBC连接 快速上⼿ Greenplum数据仓库 UDW Copyright © Copyright © 2012-2021 UCloud 优刻得 56/206 3. 测试ODBC驱动是否安装成功 # odbcinst -q -d [PostgreSQL] 如果出现以上输出,代表在这台机器上已成功安装了PostgreSQL的ODBC驱动。 4. 编辑/etc/odbc.ini⽂件配置ODBC连接 [testdb] Description = PostgreSQL connection on('row',function(row){ console.log(row); }); query.on('end',function(){ client.end(); }); 如果连接成功,输出: { name: 'john', height: 50 } { name: 'brown', height: 68 } 2 图形界⾯的⽅式访问 图形界⾯的⽅式访问UDW 2.1 配置 配置UDW外⽹访问0 码力 | 206 页 | 5.35 MB | 1 年前3 Greenplum数据仓库UDW - UCloud中立云计算服务商/usr/lib64/libodbcpsqlS.so FileUsage = 1 3. 测试ODBC驱动是否安装成功 # odbcinst -q -d [PostgreSQL] 如果出现以上输出,代表在这台机器上已成功安装了PostgreSQL的ODBC驱动。 4. 编辑/etc/odbc.ini⽂件配置ODBC连接 快速上⼿ Greenplum数据仓库 UDW Copyright © Copyright © 2012-2021 UCloud 优刻得 56/206 3. 测试ODBC驱动是否安装成功 # odbcinst -q -d [PostgreSQL] 如果出现以上输出,代表在这台机器上已成功安装了PostgreSQL的ODBC驱动。 4. 编辑/etc/odbc.ini⽂件配置ODBC连接 [testdb] Description = PostgreSQL connection on('row',function(row){ console.log(row); }); query.on('end',function(){ client.end(); }); 如果连接成功,输出: { name: 'john', height: 50 } { name: 'brown', height: 68 } 2 图形界⾯的⽅式访问 图形界⾯的⽅式访问UDW 2.1 配置 配置UDW外⽹访问0 码力 | 206 页 | 5.35 MB | 1 年前3
 Greenplum Database 管理员指南 6.2.1.............. - 231 - 查看 EXPLAIN 输出 ............................................................................................... - 232 - 查看 EXPLAIN ANALYZE 输出 ................................... 上角的绿色箭头来完成。 有些参数的修改是需要重启数据库(不是gpstop -u)才能生效的。 查看执行计划 使用pgAdminIII工具,可以通过执行EXPLAIN命令查看执行计划。输出内容包 括GP的分布式查询处理算子,如Hash,Sort,Merge,Join,Filter等,以及 Instance之间数据移动Motion。还可以查看图形化的执行计划,这将非常有助于对 执行计划进行直观的分析。 "$CGROUP_MOUNT_POINT" != "" ];then > ls -l $CGROUP_MOUNT_POINT/{cpu,cpuacct,cpuset,memory}/|grep gpdb > fi 如果输出 4 行 owner 为 gpadmin:gpadmin 的目录,则表明设置成功了。 启用资源组 在安装 GP 时缺省使用资源队列来管理资源。要使用资源组取代资源队列来管理资0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1.............. - 231 - 查看 EXPLAIN 输出 ............................................................................................... - 232 - 查看 EXPLAIN ANALYZE 输出 ................................... 上角的绿色箭头来完成。 有些参数的修改是需要重启数据库(不是gpstop -u)才能生效的。 查看执行计划 使用pgAdminIII工具,可以通过执行EXPLAIN命令查看执行计划。输出内容包 括GP的分布式查询处理算子,如Hash,Sort,Merge,Join,Filter等,以及 Instance之间数据移动Motion。还可以查看图形化的执行计划,这将非常有助于对 执行计划进行直观的分析。 "$CGROUP_MOUNT_POINT" != "" ];then > ls -l $CGROUP_MOUNT_POINT/{cpu,cpuacct,cpuset,memory}/|grep gpdb > fi 如果输出 4 行 owner 为 gpadmin:gpadmin 的目录,则表明设置成功了。 启用资源组 在安装 GP 时缺省使用资源队列来管理资源。要使用资源组取代资源队列来管理资0 码力 | 416 页 | 6.08 MB | 1 年前3
 Greenplum上云与优化T_OSS Select count(*) from T_GP Group by city OSS作为“数据湖”,GP作为分析引擎 2016Postgres中国用户大会 支持外部扩展已插件形式管理 支持插件创建的语法 CREATE EXTENSION DROP EXTENSION Patch已提交社区 2016Postgres中国用户大会 HyperLogLog支持 create extension userids hll); select #userids from access_date where acc_date=current_date; 2016Postgres中国用户大会 目前支持的插件 MADLib PL/Java Pgcrypto Fuzzstringmatch PostGIS Orca hll 2016Postgres中国用户大会 完善的JSON数据类型支持 rds_superuser; Alter role my_user nords_superuser; 为该用户放开部分superuser的权限 查看其它用户数据 查看所有连接信息 杀连接 创建和删除插件 2016Postgres中国用户大会 解决OOM问题 实例的OOM有时很频繁,同时OOM很难提前监控 我们的办法 利用外部脚本监控cgroup中的内存统计 发生内存水位较高时,将实例移入公共0 码力 | 26 页 | 1.13 MB | 1 年前3 Greenplum上云与优化T_OSS Select count(*) from T_GP Group by city OSS作为“数据湖”,GP作为分析引擎 2016Postgres中国用户大会 支持外部扩展已插件形式管理 支持插件创建的语法 CREATE EXTENSION DROP EXTENSION Patch已提交社区 2016Postgres中国用户大会 HyperLogLog支持 create extension userids hll); select #userids from access_date where acc_date=current_date; 2016Postgres中国用户大会 目前支持的插件 MADLib PL/Java Pgcrypto Fuzzstringmatch PostGIS Orca hll 2016Postgres中国用户大会 完善的JSON数据类型支持 rds_superuser; Alter role my_user nords_superuser; 为该用户放开部分superuser的权限 查看其它用户数据 查看所有连接信息 杀连接 创建和删除插件 2016Postgres中国用户大会 解决OOM问题 实例的OOM有时很频繁,同时OOM很难提前监控 我们的办法 利用外部脚本监控cgroup中的内存统计 发生内存水位较高时,将实例移入公共0 码力 | 26 页 | 1.13 MB | 1 年前3
 Greenplum 排序算法大小的顺串呢? 归并排序的三个问题 23 替换选择算法 24 Knuth 5.4.1R替换选择算法: ● 1. 初始化阶段,读取输入元组至内存,并建立最小堆。 ● 2. 弹出堆顶元组,输出到顺串文件的缓冲区,并记录该元组的排序键为 lastkey。 ● 3. 读取新元组,如果元组排序键大于等于lastkey,插入堆顶,并调整堆,使其有 序。 ● 4. 如果新元组排序键小于last 25 ● 问题二:合并阶段假设存在N个输入缓冲区,如何高效的比较N个输入缓冲区的 最小值,并输出到输出缓冲区? 归并排序的三个问题 26 ● 假设顺串(长度为L)分布在K个文件中,顺串合并时需要K个输入缓冲区和1个输 出缓冲区,每次选取K个缓冲区的最小值,输出到输出缓冲区。最后,输出缓冲 区输出的顺串长度为L*K ● 算法复杂度 O(K* (L*K)) 顺串合并 1 10 30 44 2. 两两相比较,父亲节点存储了两个节点比较的败者(节点较大的值);胜利者 (较小者)可以参与更高层的比赛。这样树的顶端就是当次比较的冠军(最小 者)。 ● 3. 调整败者树,当我们把最小者输入到输出文件以后,需要从相应的顺串取出 一个记录补上去。补回来的时候,我们就需要调整败者树,我们只需要沿着当前 节点的父亲节点一直比较到顶端。比较的规则是与父亲节点比较,胜者可以参 与更高层的比较,一直向上,直到根节点。失败者留在当前节点。0 码力 | 52 页 | 2.05 MB | 1 年前3 Greenplum 排序算法大小的顺串呢? 归并排序的三个问题 23 替换选择算法 24 Knuth 5.4.1R替换选择算法: ● 1. 初始化阶段,读取输入元组至内存,并建立最小堆。 ● 2. 弹出堆顶元组,输出到顺串文件的缓冲区,并记录该元组的排序键为 lastkey。 ● 3. 读取新元组,如果元组排序键大于等于lastkey,插入堆顶,并调整堆,使其有 序。 ● 4. 如果新元组排序键小于last 25 ● 问题二:合并阶段假设存在N个输入缓冲区,如何高效的比较N个输入缓冲区的 最小值,并输出到输出缓冲区? 归并排序的三个问题 26 ● 假设顺串(长度为L)分布在K个文件中,顺串合并时需要K个输入缓冲区和1个输 出缓冲区,每次选取K个缓冲区的最小值,输出到输出缓冲区。最后,输出缓冲 区输出的顺串长度为L*K ● 算法复杂度 O(K* (L*K)) 顺串合并 1 10 30 44 2. 两两相比较,父亲节点存储了两个节点比较的败者(节点较大的值);胜利者 (较小者)可以参与更高层的比赛。这样树的顶端就是当次比较的冠军(最小 者)。 ● 3. 调整败者树,当我们把最小者输入到输出文件以后,需要从相应的顺串取出 一个记录补上去。补回来的时候,我们就需要调整败者树,我们只需要沿着当前 节点的父亲节点一直比较到顶端。比较的规则是与父亲节点比较,胜者可以参 与更高层的比较,一直向上,直到根节点。失败者留在当前节点。0 码力 | 52 页 | 2.05 MB | 1 年前3
 深度揭秘Greenplum开源数据库透明加密对运维安全无能为力 基于pgcypto的加密 • 可以满足数据安全要求 • 非原生方案 • 问题很多 基于pgcypto的数据加密方案 pgcypto Postgresql社区提供的一款简单加密插件 • https://www.postgresql.org/docs/13/pgcrypto.html • https://github.com/greenplum-db/gpdb/tree/m0 码力 | 48 页 | 10.19 MB | 1 年前3 深度揭秘Greenplum开源数据库透明加密对运维安全无能为力 基于pgcypto的加密 • 可以满足数据安全要求 • 非原生方案 • 问题很多 基于pgcypto的数据加密方案 pgcypto Postgresql社区提供的一款简单加密插件 • https://www.postgresql.org/docs/13/pgcrypto.html • https://github.com/greenplum-db/gpdb/tree/m0 码力 | 48 页 | 10.19 MB | 1 年前3
 Greenplum 编译安装和调试会失败,但是不清楚失败原因是什么。 下面提供一些思路来 RCA: 2.2.1 使用 gpinitsystem 调试模式 gpinitsystem 有一个 -D 选项,使用这个选项可以看到更多的输出信息,根据这些额外的输出信息 可以发现并解决大部分问题。 2.2.2 查看日志 常用的日志文件有两类,一种是 gpinitsystem 的日志,一种是数据库的日志。它们分别保存在不 同的目录下:0 码力 | 15 页 | 2.07 MB | 1 年前3 Greenplum 编译安装和调试会失败,但是不清楚失败原因是什么。 下面提供一些思路来 RCA: 2.2.1 使用 gpinitsystem 调试模式 gpinitsystem 有一个 -D 选项,使用这个选项可以看到更多的输出信息,根据这些额外的输出信息 可以发现并解决大部分问题。 2.2.2 查看日志 常用的日志文件有两类,一种是 gpinitsystem 的日志,一种是数据库的日志。它们分别保存在不 同的目录下:0 码力 | 15 页 | 2.07 MB | 1 年前3
 Greenplum 精粹文集N 个 Primary Instance,则,D 中有 (N-1)/N 的数 据需要发送到其他节点。因此,节点之间的网络流量占用大约为 gpfdist 输出带宽的 2 倍。再考虑 Mirror 配置,节点之间的网络带 宽约为 gpfdist 输出带宽的 3 倍。 综上所述,在主流软硬件环境下,外部表加载,最先成为瓶颈的往往 一定是 CPU,如果 gpfdist 性能不足,可以增加 gpfdist0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集N 个 Primary Instance,则,D 中有 (N-1)/N 的数 据需要发送到其他节点。因此,节点之间的网络流量占用大约为 gpfdist 输出带宽的 2 倍。再考虑 Mirror 配置,节点之间的网络带 宽约为 gpfdist 输出带宽的 3 倍。 综上所述,在主流软硬件环境下,外部表加载,最先成为瓶颈的往往 一定是 CPU,如果 gpfdist 性能不足,可以增加 gpfdist0 码力 | 64 页 | 2.73 MB | 1 年前3
 Greenplum备份恢复浅析gpcrondump命令使用--list-backup-files可以将备份产生的所有文件都列举 出来,分为两类,分别是: 1. Pipes files 包括每个segment的数据文件(可以流式输出)、master产 生的post_data文件包含indexes, triggers, primary key constraints等数据 库对象,master产生的全局对象包含角色和表空间等 20 码力 | 17 页 | 1.29 MB | 1 年前3 Greenplum备份恢复浅析gpcrondump命令使用--list-backup-files可以将备份产生的所有文件都列举 出来,分为两类,分别是: 1. Pipes files 包括每个segment的数据文件(可以流式输出)、master产 生的post_data文件包含indexes, triggers, primary key constraints等数据 库对象,master产生的全局对象包含角色和表空间等 20 码力 | 17 页 | 1.29 MB | 1 年前3
 Greenplum 分布式数据库内核揭秘Confidential │ ©2021 VMware, Inc. 26 QD && QE Confidential │ ©2021 VMware, Inc. 27 火山模型,或者说拉模型,是指从最顶层的输出节点开始,不断从下层节点拉取数据,一种自顶向 下的执行方式。最常见的拉模型是 Tuple-At-A-Time,即每次从下层拉取一个元组进行处理。 Greenplum、PostgreSQL、MySQL0 码力 | 31 页 | 3.95 MB | 1 年前3 Greenplum 分布式数据库内核揭秘Confidential │ ©2021 VMware, Inc. 26 QD && QE Confidential │ ©2021 VMware, Inc. 27 火山模型,或者说拉模型,是指从最顶层的输出节点开始,不断从下层节点拉取数据,一种自顶向 下的执行方式。最常见的拉模型是 Tuple-At-A-Time,即每次从下层拉取一个元组进行处理。 Greenplum、PostgreSQL、MySQL0 码力 | 31 页 | 3.95 MB | 1 年前3
 Pivotal Greenplum 5: 新一代数据平台TPC-DS 中,111 个查询中有 46 个使用了 CTE。GPORCA 为 WITH 子句引入了一种新的生成者 - 使用者模式。利用该模 式,只需计算一个复杂表达式一次,便可由多个操作符使用其计算输出。这就使得 Pivotal Greenplum 能够处理复杂得多 的 CTE,因为它不必将其完全展开,只需对其进行动态处理即可。GPORCA 生成 CTE 计划的速度比传统规划器优化器平 均要快 70 码力 | 9 页 | 690.33 KB | 1 年前3 Pivotal Greenplum 5: 新一代数据平台TPC-DS 中,111 个查询中有 46 个使用了 CTE。GPORCA 为 WITH 子句引入了一种新的生成者 - 使用者模式。利用该模 式,只需计算一个复杂表达式一次,便可由多个操作符使用其计算输出。这就使得 Pivotal Greenplum 能够处理复杂得多 的 CTE,因为它不必将其完全展开,只需对其进行动态处理即可。GPORCA 生成 CTE 计划的速度比传统规划器优化器平 均要快 70 码力 | 9 页 | 690.33 KB | 1 年前3
共 11 条
- 1
- 2













