 Greenplum Database 管理员指南 6.2.1.................. - 93 - 创建与管理模式 ................................................................................................................ - 93 - 缺省"Public"模式................................ ........................ - 93 - 创建模式 .................................................................................................................... - 93 - 模式搜索路径 .............................. ....................... - 94 - 删除模式 .................................................................................................................... - 95 - 系统模式 .................................0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1.................. - 93 - 创建与管理模式 ................................................................................................................ - 93 - 缺省"Public"模式................................ ........................ - 93 - 创建模式 .................................................................................................................... - 93 - 模式搜索路径 .............................. ....................... - 94 - 删除模式 .................................................................................................................... - 95 - 系统模式 .................................0 码力 | 416 页 | 6.08 MB | 1 年前3
 Greenplum 精粹文集互联网行业经过之前近 10 年的由慢到快的发展,累积了大量信息和数 据,数据在爆发式增长,这些海量数据急需新的计算方式,需要一场 计算方式的革命。 传统的主机计算模式在海量数据面前,除了造价昂贵外,在技术上也 难于满足数据计算性能指标,传统主机的 Scale-up 模式遇到了瓶颈, SMP(对称多处理)架构难于扩展,并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来,Google GFS 分布式文件系统,另外一篇 是关于 MapReduce 并行计算框架的理论,分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 下午3:38 2 由此,业界认识到对于海量数据需要一种新的计算模式来支持,这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时,开放的X86服 事物处理、数据强一致性保证、数据类型支持、独特 的 MVCC 带来高效数据更新能力等还有很多方面,Postgresql 似 乎在这些 OLAP 功能上都比 mysql 更甚一筹。 5) Postgresql 许可是仿照 BSD 许可模式的,没有被大公司控制,社区 比较纯洁,版本和路线控制非常好,基于 Postgresql 可让用户拥有 更多自主性。反观 Mysql 的社区现状和众多分支(如 MariaDB), 确实有些混乱。 Big0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集互联网行业经过之前近 10 年的由慢到快的发展,累积了大量信息和数 据,数据在爆发式增长,这些海量数据急需新的计算方式,需要一场 计算方式的革命。 传统的主机计算模式在海量数据面前,除了造价昂贵外,在技术上也 难于满足数据计算性能指标,传统主机的 Scale-up 模式遇到了瓶颈, SMP(对称多处理)架构难于扩展,并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来,Google GFS 分布式文件系统,另外一篇 是关于 MapReduce 并行计算框架的理论,分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 下午3:38 2 由此,业界认识到对于海量数据需要一种新的计算模式来支持,这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时,开放的X86服 事物处理、数据强一致性保证、数据类型支持、独特 的 MVCC 带来高效数据更新能力等还有很多方面,Postgresql 似 乎在这些 OLAP 功能上都比 mysql 更甚一筹。 5) Postgresql 许可是仿照 BSD 许可模式的,没有被大公司控制,社区 比较纯洁,版本和路线控制非常好,基于 Postgresql 可让用户拥有 更多自主性。反观 Mysql 的社区现状和众多分支(如 MariaDB), 确实有些混乱。 Big0 码力 | 64 页 | 2.73 MB | 1 年前3
 Greenplum数据仓库UDW - UCloud中立云计算服务商copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理 4、表格设计 5、加载数据 6、分区表 7、序列 8、索引 9、 ANALYZE/VACUUM 10、常⽤SQL⼤全 12、常⽤SQL命令 13、⽤⼾⾃定义函数 ⽬录 Greenplum数据仓库 出现不可⽤的时候会⾃动切换到 Mirror Segment, 当 Primary Segment 恢复之后,Primary Segment 会⾃动恢复这期间的变更。 2. Master 节点是主从模式,当 Active Master 不可⽤时会⾃动切换到 Standby Master。 产品架构 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 DATABASE product; 3、模式管理 、模式管理 数据库模式(schema)是包含了⼀系列数据库对象(表,数据类型,⾃定义函数)集合的命名容器。⼀个数据库可以有多个模式。不同模式不共享命名空间。public 模式是在创建数据库之后就 会默认创建的,每个⽤⼾都有权限在这个 schema 创建对象,如果不指定 schema 那么就会默认创建到这⾥。 创建⼀个模式: CREATE SCHEMA0 码力 | 206 页 | 5.35 MB | 1 年前3 Greenplum数据仓库UDW - UCloud中立云计算服务商copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理 4、表格设计 5、加载数据 6、分区表 7、序列 8、索引 9、 ANALYZE/VACUUM 10、常⽤SQL⼤全 12、常⽤SQL命令 13、⽤⼾⾃定义函数 ⽬录 Greenplum数据仓库 出现不可⽤的时候会⾃动切换到 Mirror Segment, 当 Primary Segment 恢复之后,Primary Segment 会⾃动恢复这期间的变更。 2. Master 节点是主从模式,当 Active Master 不可⽤时会⾃动切换到 Standby Master。 产品架构 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 DATABASE product; 3、模式管理 、模式管理 数据库模式(schema)是包含了⼀系列数据库对象(表,数据类型,⾃定义函数)集合的命名容器。⼀个数据库可以有多个模式。不同模式不共享命名空间。public 模式是在创建数据库之后就 会默认创建的,每个⽤⼾都有权限在这个 schema 创建对象,如果不指定 schema 那么就会默认创建到这⾥。 创建⼀个模式: CREATE SCHEMA0 码力 | 206 页 | 5.35 MB | 1 年前3
 Pivotal Greenplum 最佳实践分享waiting状态  解决方法: – 如果是被其它回话锁了,需要等待其它回话结束或者Cancel; – 极端的情况下,某些回话虽然终止了,但事务没有正常终止,此时可以用UTILITY模式访问对应的Instance,将 其终止 ex: PGOPTIONS='-c gp_session_role=utility' psql-h segment_host –d dbnme –p 数据库启动:gpstart  常用可选参数:-a:直接启动,不提示终端使用者输入确  -m:只启动master实例,主要在故障处理时使用 -R:进入限制模式,只有超级用户能访问,常用于系统维护  数据库停止:gpstop:  常用可选参数:-a:直接停止,不提示终端使用者输入确认 -m:只停止master实例,与gpstart -s:查看详细状态,如在同步,可显示数据同步完成百分比  --version,查看数据库version  该命令默认列出数据库运行状态汇总信息,常用于日常巡检。  登录某一个实例数据库的方法-UTILITY模式 – PGOPTIONS='-c gp_session_role=utility' psql dbname –p xxxx – 可以通过这个命令登录实例,一般用于检测单个实例是否运行正0 码力 | 41 页 | 1.42 MB | 1 年前3 Pivotal Greenplum 最佳实践分享waiting状态  解决方法: – 如果是被其它回话锁了,需要等待其它回话结束或者Cancel; – 极端的情况下,某些回话虽然终止了,但事务没有正常终止,此时可以用UTILITY模式访问对应的Instance,将 其终止 ex: PGOPTIONS='-c gp_session_role=utility' psql-h segment_host –d dbnme –p 数据库启动:gpstart  常用可选参数:-a:直接启动,不提示终端使用者输入确  -m:只启动master实例,主要在故障处理时使用 -R:进入限制模式,只有超级用户能访问,常用于系统维护  数据库停止:gpstop:  常用可选参数:-a:直接停止,不提示终端使用者输入确认 -m:只停止master实例,与gpstart -s:查看详细状态,如在同步,可显示数据同步完成百分比  --version,查看数据库version  该命令默认列出数据库运行状态汇总信息,常用于日常巡检。  登录某一个实例数据库的方法-UTILITY模式 – PGOPTIONS='-c gp_session_role=utility' psql dbname –p xxxx – 可以通过这个命令登录实例,一般用于检测单个实例是否运行正0 码力 | 41 页 | 1.42 MB | 1 年前3
 Pivotal Greenplum 5: 新一代数据平台分发的打包版本将具有相同的内核(只有个别微小差 别)。这是两年来致力于与 PostgreSQL 8.3.23 集成的成果,目的在于扩展和融入以 Greenplum 为中心的生态系统和社 区。为了更好地贴合 PostgreSQL 社区的模式,他们对代码库进行了重构,这样一来,便可以更轻松地从最新版本(未来 的 PostgreSQL 9.X 和 10)中纳入 PostgreSQL 新增功能。 新一代 数据平台 IT 人员 开发 人员 Database 可消除平台 / 供应商制约。用户可通过不同供应商获得针对 Greenplum 的服务和支持。 • Greenplum Database 在开发时采用的是以社区 / 客户为焦点的开发模式。客户可通过多种开放可用的方法对总 体产品方向产生影响,而这又会加快产品创新。 客户能够在群集中的一组初始服务器上部署 Pivotal Greenplum,并能在数据存储和用户需求增加时扩充配置中的服务器数 (CTE),这是指仅用于一个查询的临时表,通常在分析工作负载中十分常用。例如, 在 TPC-DS 中,111 个查询中有 46 个使用了 CTE。GPORCA 为 WITH 子句引入了一种新的生成者 - 使用者模式。利用该模 式,只需计算一个复杂表达式一次,便可由多个操作符使用其计算输出。这就使得 Pivotal Greenplum 能够处理复杂得多 的 CTE,因为它不必将其完全展开,只需对其进行动态处理即可。GPORCA0 码力 | 9 页 | 690.33 KB | 1 年前3 Pivotal Greenplum 5: 新一代数据平台分发的打包版本将具有相同的内核(只有个别微小差 别)。这是两年来致力于与 PostgreSQL 8.3.23 集成的成果,目的在于扩展和融入以 Greenplum 为中心的生态系统和社 区。为了更好地贴合 PostgreSQL 社区的模式,他们对代码库进行了重构,这样一来,便可以更轻松地从最新版本(未来 的 PostgreSQL 9.X 和 10)中纳入 PostgreSQL 新增功能。 新一代 数据平台 IT 人员 开发 人员 Database 可消除平台 / 供应商制约。用户可通过不同供应商获得针对 Greenplum 的服务和支持。 • Greenplum Database 在开发时采用的是以社区 / 客户为焦点的开发模式。客户可通过多种开放可用的方法对总 体产品方向产生影响,而这又会加快产品创新。 客户能够在群集中的一组初始服务器上部署 Pivotal Greenplum,并能在数据存储和用户需求增加时扩充配置中的服务器数 (CTE),这是指仅用于一个查询的临时表,通常在分析工作负载中十分常用。例如, 在 TPC-DS 中,111 个查询中有 46 个使用了 CTE。GPORCA 为 WITH 子句引入了一种新的生成者 - 使用者模式。利用该模 式,只需计算一个复杂表达式一次,便可由多个操作符使用其计算输出。这就使得 Pivotal Greenplum 能够处理复杂得多 的 CTE,因为它不必将其完全展开,只需对其进行动态处理即可。GPORCA0 码力 | 9 页 | 690.33 KB | 1 年前3
 Greenplum 编译安装和调试使用Mac系统,但是不在官方支持列表中。 1.1 在 Mac 系统上编译 首先需要关闭苹果操作系统的 SIP 特性,否则无法初始化集群。 1. 重启操作系统 2. 重启过程中按下 command+R 进入恢复模式 3. 从 Utilities 菜单选择 Terminal 4. 执行 csrutil disable 5. 重启操作系统 // 安装Greenplum管理脚本依赖的 Python 档。 2.2 集群初始化问题调试 有时候 gpinitsystem 会失败,但是不清楚失败原因是什么。 下面提供一些思路来 RCA: 2.2.1 使用 gpinitsystem 调试模式 gpinitsystem 有一个 -D 选项,使用这个选项可以看到更多的输出信息,根据这些额外的输出信息 可以发现并解决大部分问题。 2.2.2 查看日志 常用的日志文件有两类,一种是 ster/gpseg-1.initdb 2.2.4 master 起不来 使用下面命令,手动启动master观看日志是否有问题。下面使用 Utility 模式启动master ,仅仅仅仅允许utility 模式连接。 $ postgres -D /data/master/gpseg-1 -i -p 5432 -c gp_role=utility0 码力 | 15 页 | 2.07 MB | 1 年前3 Greenplum 编译安装和调试使用Mac系统,但是不在官方支持列表中。 1.1 在 Mac 系统上编译 首先需要关闭苹果操作系统的 SIP 特性,否则无法初始化集群。 1. 重启操作系统 2. 重启过程中按下 command+R 进入恢复模式 3. 从 Utilities 菜单选择 Terminal 4. 执行 csrutil disable 5. 重启操作系统 // 安装Greenplum管理脚本依赖的 Python 档。 2.2 集群初始化问题调试 有时候 gpinitsystem 会失败,但是不清楚失败原因是什么。 下面提供一些思路来 RCA: 2.2.1 使用 gpinitsystem 调试模式 gpinitsystem 有一个 -D 选项,使用这个选项可以看到更多的输出信息,根据这些额外的输出信息 可以发现并解决大部分问题。 2.2.2 查看日志 常用的日志文件有两类,一种是 ster/gpseg-1.initdb 2.2.4 master 起不来 使用下面命令,手动启动master观看日志是否有问题。下面使用 Utility 模式启动master ,仅仅仅仅允许utility 模式连接。 $ postgres -D /data/master/gpseg-1 -i -p 5432 -c gp_role=utility0 码力 | 15 页 | 2.07 MB | 1 年前3
 深度揭秘Greenplum开源数据库透明加密数据备份恢复 运行模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 GPDB的数据安全 • 可以访问数据库二进制文件 • 可以访问数据库数据文件 • 可以访问预写日志文件 潜在风险(二) GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 运维模式 • 原厂服务,主机厂或者第三方运维 数据文件为明文二进制文件 • 直接通过Linux自带工具(strings, hexdump)访问 • pg_waldump可以直接读取并显示预写日志 潜在风险(三)0 码力 | 48 页 | 10.19 MB | 1 年前3 深度揭秘Greenplum开源数据库透明加密数据备份恢复 运行模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 GPDB的数据安全 • 可以访问数据库二进制文件 • 可以访问数据库数据文件 • 可以访问预写日志文件 潜在风险(二) GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 运维模式 • 原厂服务,主机厂或者第三方运维 数据文件为明文二进制文件 • 直接通过Linux自带工具(strings, hexdump)访问 • pg_waldump可以直接读取并显示预写日志 潜在风险(三)0 码力 | 48 页 | 10.19 MB | 1 年前3
 Greenplum介绍instance时,会把这个instance 标记为invalid。 Greenplum中的高可用方案 默认情况下,greenplum的失败操作模式是“read- only"模式,也就是说如果一个segment坏了,整个 greenplum会变成只读,不能写了。如果模式是 “continue”模式时,一个segment坏了的时候,数据 库仍然可以继续工作。但由于segment的primary与 mirror端的数据不同步了,所以恢复的时候需要花比较0 码力 | 38 页 | 655.38 KB | 1 年前3 Greenplum介绍instance时,会把这个instance 标记为invalid。 Greenplum中的高可用方案 默认情况下,greenplum的失败操作模式是“read- only"模式,也就是说如果一个segment坏了,整个 greenplum会变成只读,不能写了。如果模式是 “continue”模式时,一个segment坏了的时候,数据 库仍然可以继续工作。但由于segment的primary与 mirror端的数据不同步了,所以恢复的时候需要花比较0 码力 | 38 页 | 655.38 KB | 1 年前3
 PostgreSQL和Greenplum 数据库故障排查TCP/IP连接 hostnossl不能使用SSL TCP/IP连接 数据库(database) 声明允许访问的数据库,多个数据库,库名 间以逗号分隔。 all表明该记录匹配所有数据库 用户名(user) USER指定哪个数据库用户(PostgreSQL正规 的叫法是角色,role)。 多个用户以逗号分隔。 允许的客户端(ADDRESS) 格式为ip-address/mask0 码力 | 84 页 | 12.61 MB | 1 年前3 PostgreSQL和Greenplum 数据库故障排查TCP/IP连接 hostnossl不能使用SSL TCP/IP连接 数据库(database) 声明允许访问的数据库,多个数据库,库名 间以逗号分隔。 all表明该记录匹配所有数据库 用户名(user) USER指定哪个数据库用户(PostgreSQL正规 的叫法是角色,role)。 多个用户以逗号分隔。 允许的客户端(ADDRESS) 格式为ip-address/mask0 码力 | 84 页 | 12.61 MB | 1 年前3
 Greenplum on Kubernetes
容器化MPP数据库云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 → 半结构化/无模式 ○ 数据隔离 → 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○0 码力 | 33 页 | 1.93 MB | 1 年前3 Greenplum on Kubernetes
容器化MPP数据库云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 → 半结构化/无模式 ○ 数据隔离 → 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○0 码力 | 33 页 | 1.93 MB | 1 年前3
共 15 条
- 1
- 2













