Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 37/206 操作指南 操作指南 关闭数据仓库 关闭数据仓库 当数据仓库创建成功之后处于运⾏状态，可以在数据仓库列表⻚中关闭数据仓库。 操作指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 38/206 启动数据仓库 启动数据仓库 Copyright © 2012-2021 UCloud 优刻得 122/206 语法: RELEASE [ SAVEPOINT ] savepoint_name 命令: RESET 描述: 恢复运⾏时参数值为默认值 语法: RESET 名字 RESET ALL 命令: REVOKE 描述: 删除访问权限 语法: REVOKE [GRANT OPTION FOR] { {SELECT ALL}] [OFFSET start] [FOR {UPDATE | SHARE} [OF table_name [, ...]] [NOWAIT] [...]] 命令: SET 描述: 改变⼀个运⾏时参数 语法: SET [SESSION | LOCAL] configuration_parameter {TO | =} value | 'value' | DEFAULT} SET [SESSION

一次打包到处运行的平台：部署灵活，不受限于硬件环境和平台，无论裸机、私有云、公 有云均可部署。硬件环境的普适性，提供了极大的灵活性，解放了硬件平台的制约和绑定， 从而允许客户灵活选择最适合的方案，降低未来的迁移代价，而开发、运维人员无需要学 习新的数据库处理技术，人力成本也能够大大降低。 ● 处理和分析各种数据源的数据的平台：支持各种数据源，包括 Kafka、Hadoop、HIVE、 HBase、S3、Gemfir 等行业标准。经过半个多世纪的发展， SQL 成为了数据平台的万向头，向上可以连接各种 BI 工具、可视化工具和数据分析工具， 向下可以连接各种 ETL 工具、各种数据源和各种格式的数据等。 ● 集成数据分析平台：支持商业智能（BI）、文本、GIS、图、图像等。流式支持也在开发 中。通过 Pivotal 开源的 Apache 顶级项目 MADlib，Greenplum 可以在数据内部运行 50 多种数据分析和机器学习算法。MADlib PgAdmin、Informatica、Cognos、SAS、Talend、Qlik、Tableau、Anaconda、 Microstrategy、Boundless、Zattset、Datometry 等，涵盖 ETL、商业智能、高级分析、可视化、 集成分析、GIS 数据处理、迁移、安全和管理等各个领域。 更多信息请访问 greenplum.cn。

用数据仓库的术语来说，这种数据模型称为星型模型。在这种数据库模型下，Order 表通常被称为事实表(Fact Table)，其他表(Customer、Vendor、Product)被称 为维表(Dimension Table)。不管是哪张表，虽然对于用户来说，看起来就是一张 表，实际上，在每个 Instance 上都有这样 4 张表，分别叫 Order、Customer、Vender 和 分布。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 23 - 对于一些尺寸很小的表(叫维表或者参考表)来说，无所谓如何分布，所以，这样 的表完全可以按照 HASH 分布或者使用随机分布，甚至复制分布(只要可以接受其尺寸 放大的影响)，对整体的分析查询性能不会有明显的影响。  复制(Replicated)分布 stat_resqueues来查看资源队列使 用的统计信息。注意，开启该配置会带来轻微的资源开销，每个通过资源队列被执行的 语句都会被追踪。开启统计信息收集对于初期的资源队列诊断是有帮助的，而后期的运 行应该关闭该参数。 查看分配到资源队列的 ROLE 要查看ROLE与资源队列之间的关联关系，可以使用系统视图pg_roles和 gp_toolkit.gp_resqueue_status来获得：

OLAP 在互联网公司的实践与思考 赵飞祥 2 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） • “现在”的数据 —— OLTP • “过去”的数据 可以很好支持各种方式的数据加载和DML操作 – 具备海量的数据存储和计算性能 9 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 10 greenplum体系架构 postgresql体系结构 11 greenplum体系架构 postgresql体系结构 • pg结构组成 Ø 分布分区 Ø 数据压缩 Ø 外部访问 15 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 16 Greenplum现状说明 Greenplum集群现状概述 • 三大Greenplum集群体系 Ø 公司IDC_01机房Greenplum体系

目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 rollback gid;--pg_prepared_xacts SQL互锁情况 目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 Admin常用命令  数据库启动：gpstart  常用可选 hosts-net0 gpcheckperf -d /tmp –r M -f hosts-net0 目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 日常巡检事项  建议定期（每日一次或多次）对系统进行巡检，巡检内容包括：

半结构化/无模式 ○ 数据隔离 → 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○ 自动化调优 ● 弹性资源管理 ○ 存储资源 ○ 计算资源 ● 安全 ○ 用户数据 ○ 临时文件 ○ 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略 ○ Mirror Segment部署策略 ● 容器化Greenplum运维管理 ○ 故障检测及恢复 ○ 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略 ○ Mirror Segment部署策略 ● 容器化Greenplum运维管理 ○ 故障检测及恢复 ○ 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 ○ 容器外部存储关联性 容器化分布式应用程序公共问题 容器网络管理 容器资源管理

System Admin • 管理集群 • 数据备份恢复 需要登录到系统进行运维 • 可以访问数据库二进制文件 • 可以访问数据库数据文件 • 可以访问预写日志文件 潜在风险（二） GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 运维模式 • 原厂服务，主机厂或者第三方运维 数据文件为明文二进制文件 • 直接通过Linux自带工具（strings 数据需要加密 • 机密数据 • 知识产权保护 • 审计要求 用户数据存在直接暴露的风险 • 非部门员工运维（原厂，主机厂或者合作伙伴） • 事后审计难度很大 • 服务器数据被盗（托管或云部署） 用户的问题 现有解决方案 基于操作的系统的硬盘加密 • 只能防范服务器硬盘被盗 • 对运维安全无能为力 基于pgcypto的加密 • 可以满足数据安全要求 • 非原生方案 • 问题很多

不同，Greenplum 在绝大部分关联场景中不会用到索引。只有部分 小结果集的查询场景中需要使用索引优化。 Big Date2.indd 31 16-11-22 下午3:38 32 3. 日常运维的重要性 切忌运而不维！想要一个数据库长久健康的运行，是离不开一个称职 的 DBA。从其他数据库的 DBA 转为 Greenplum 的 DBA 并不是一件 很困难的事，成功转成 Greenplum DBA 的工程师越来越多。 Greenplum 集群服务器数量是越来越大，在电 信行业和银行业，搭建 50 台服务器以上的 Greenplum 集群越来越多。 而集群服务器数量越多也就代表故障发生率越高。作为 Greenplum 的 DBA 和运维人员，不单只关注 Greenplum 本身，还要关注集群中各 硬件的状况，及时发现及时处理。硬盘状态、阵列卡状态、硬件告警、 操作系统告警、空间使用率等都是应关注的重点。这些都可通过厂商 提供的工具，编写监控程序，SNMP 密要求。解密数据、确定用户是否可以访问全部或者部分的数据也是 采用一个相似的流程。 此功能通过在加密之前捕获用户信息并将凭证传递至安装在所有 Greenplum 节点上的本地 Protegrity 代理完成加密流程。此流程与维 护、存取和应用策略 (Policy) 目录的服务器通信，在加密期间，此功 能将访问策略以应用、确定用户的数据访问权限，并根据策略解密和 掩盖数据。 Big Date2.indd 51 16-11-22

swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 2. 夯实云化基座 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 docker+qemu 方案，底噪和启动时间 优化 Coordinator（Master）出现故障， 将自动把备用节点进行替换，把这一流程自动化，减少人工的干预，这一功能不但将解决现有用户的使用痛点，同时 也大大增加了系统高可用性，避免手工操作，极大方便了系统运维，而这对于运行关键业务应用十分重要。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum

对于增量备份可以支持准实时的同步也可以支持延时同步 ➢ 同步软件不会对源库造成负载上升的问题 ➢ 同步中断后能够记录中断点，在下次同步时可以自动从中断点开始继续同步数据 ➢ 能够提供对同步组件的监控 ➢ 操作简单，运维效率高 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 15 Compare Products 参考：https://mp.weixin