完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum生态繁荣发展。 openEuler 作为一个操作系统发行版平台,每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的 操作系统。 openEuler 也是一个技术孵化器。通过每半年发布一次的创新版,快速集成 openEuler 以及其他社区的最新技术成 果,将社区验证成熟的特性逐步回合到发行版中。这些新特性以单个开源项目的方式存在于社区,方便开发者获得源代 代 码,也方便其他开源社区使用。 社区中的最新技术成果持续合入发行版,发行版通过用户反馈反哺技术,激发社区创新活力,从而不断孵化新技术。 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum ,SIGMOD 和另外 两大数据库会议 VLDB、ICDE 构成了数据库领域的三个顶级会议,其论文录取率是很低的,平均录取率大约仅为 15%-17%,值得一提的是此论文主要由中国研发团队完成,也说明了中国研发团队实力处于世界一流水平。在论文 中 Greenplum 团队提出一种全新的全局死锁检测器来减少独占锁的使用,减少独占锁的使用可以极大的提高数据库 在高并发状态下的性能,这项技术已经在0 码力 | 17 页 | 2.04 MB | 1 年前3
Greenplum Database 管理员指南 6.2.1'Saturday' AND DAY 'Sunday' 正确语法为: DENY DAY 'Saturday' DENY DAY 'Sunday' 例子: 下面的例子说明在 CREATE ROLE 和 ALTER ROLE 的时候使用时间约束。这里只 是展示了时间约束部分的命令。关于 CREATE ROLE 和 ALTER ROLE 的细节可参考相 关章节。 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 41 - 使用 psql 连接 根据缺省值或者环境变量,下面的例子说明如何通过 psql 连接: $ psql -d gpdatabase -h master_host -p 5432 -U gpadmin $ psql gpdatabase $ psql http://gborg.postgresql.org/project/pgperl Python DBI pygresql http://www.pygresql.org 使用通用API来访问GP的说明: 1. 下载相应的语言和对应平台的API文件。例如下载JDK和JDBC。 2. 编写相应的程序连接GP。需要注意SQL的语法支持问题。 下载合适的PostgreSQL驱动并配置到Master0 码力 | 416 页 | 6.08 MB | 1 年前3
Greenplum数据库架构分析及5.x新功能分享TB/小时/Rack – 线性扩展 • 低延迟 – 加载后立刻可用 – 不需要中间存储 – 不需要额外数据处理 • 导入/导出 到&从: – 文件系统 – 任意 ETL 产品 – Hadoop 发行版 外部数据源 Interconnect ... ... ... ... 主节点 查询优化和调度 数据节点 存储数据 & 查询处 理 SQL ETL File Systems0 码力 | 44 页 | 8.35 MB | 1 年前3
Greenplum 6: 混合负载的理想数据平台n1-standard-8 CPU核数 16 8 内存大小(GB) 60 30 CPU平台 Intel Haswell 存储类型 SSD persistent disk 存储大小(GB) 512 Linux发行版 Ubuntu Linux 18.04 Linux内核版本 4.15.0 GCC版本 7.3.0 33 Pivotal Confidential–Internal Use Only TPC-B基准测试:SELECT0 码力 | 52 页 | 4.48 MB | 1 年前3
并行不悖- OLAP 在互联网公司的实践与思考1 并行不悖 – OLAP 在互联网公司的实践与思考 赵飞祥 2 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度:过去 - 现在 - 未来 (数据的生命周期) • “现在”的数据 —— 对特定OLAP类查询有很好的支持作用 • 通用性数据仓库 —— Greenplum – 独立的数据库仓库解决方案 – 可以很好支持各种方式的数据加载和DML操作 – 具备海量的数据存储和计算性能 9 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 10 greenplum体系架构 (gpfdist+外部表,每小时4TB+) Ø 分布分区 Ø 数据压缩 Ø 外部访问 15 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 16 Greenplum现状说明 Greenplum集群现状概述 • 三大Greenplum集群体系 Ø 公司IDC_01机房Greenplum体系0 码力 | 43 页 | 9.66 MB | 1 年前3
Pivotal Greenplum 最佳实践分享-r: 重启数据库 Admin常用命令 查看实例配置和状态 select * from gp_segment_configuration order by 1 ; – 主要字段说明: – dbid:唯一标识 – content:该字段相等的两个实例,是一对P(primary instance)和 M(mirror Instance) – preferred_rol 录,便于对系统进行诊断和维护 在某些极端情況下,数据库重启失敗,可能原因是Persistent或Xlog有数据不一致,此时,请在Support说明下进行修复,例如抑制错误、修复 xlog日志等,需要说明的是,未得到support同意,不要用pg_resetxlog去修復xlog,否则可能导致数据不一致; 故障机器隔离 当发现有机器本身有故障,例如0 码力 | 41 页 | 1.42 MB | 1 年前3
Greenplum 精粹文集包含所有分布键,才能确保数据不需要任何移动就满足 LocalJoin 的 要求。 然后,再来说说,执行计划根据什么来决定数据在节点之间如何移动。 当两张表关联时,到底是选择重分布还是选择广播。需要分以下几种 情况来说明: 1) 两张表的关联字段都包含了分布键,此场景不需要在节点之间 移动数据。 2) 有一张表的关联字段包含分布键,另外一张不包含分布键。 3) 两张表的关联字段都没有包含分布键(此处所说的包含分布键, Greenplum 必要的 UDF(用户自定义函数,即内嵌入数据库的小节点例程)以操作数据 并与 PEP 应用程序通信的相关说明。 为了验证安装是否成功,请查看 Protegrity 功能是否已创建。此外, 请检查 pty_whoami 功能是否返回了执行该功能的用户 ID。 如果这些功能都正常则说明你已成功安装,并且已经准备好开始隐蔽 部分数据。 4. 使用 Protegrity 数据保护器加密静态数据0 码力 | 64 页 | 2.73 MB | 1 年前3
Greenplum数据仓库UDW - UCloud中立云计算服务商UDW Copyright © 2012-2021 UCloud 优刻得 154/206 bin/zeppelin-daemon.sh start 第⼀次启动Zeppelin,输出如下: 这说明Zeppelin已经部署成功。 4)验证 Zeppelin 默认启动在 8080 端⼝,在浏览器中访问 Zeppelin 主⻚,访问地址是: http://your_host_ip:8080/,你将看到类似如下的⻚⾯。 PATH=$PATH:/usr/local/greenplum-db-clients/bin,并执⾏source /etc/profile 使⽤ 使⽤ pg_dump 导出数据 导出数据 pg_dump 完整说明可以查看⽂档 https://www.postgresql.org/docs/9.4/app-pgdump.html,常⽤参数如下: -d dbname, --dbname=dbname:指定 database0 码力 | 206 页 | 5.35 MB | 1 年前3
Greenplum 排序算法+ 35 + 36 + 34 + 31 + 57 = 232个基础顺串:每个顺串平均4.07次移动 35 ● ExecInitSort:初始化SortState结构体 排序节点 类型 字段 说明 ScanState ss 查询状态信息 bool randomAccess 排序后的元组是否需要随机访问 bool bounded 是否是TopK查询 int64 bound TopK查询中K的值0 码力 | 52 页 | 2.05 MB | 1 年前3
PostgreSQL和Greenplum 数据库故障排查listen_address #listen_addresses = 'localhost' # what IP address(es) to listen on; -bash-4.1$ 监听地址说明 listen_address = '*' # Listen on all network interfaces listen_address = '192.168.1.1' #0 码力 | 84 页 | 12.61 MB | 1 年前3
共 10 条
- 1













