16-11-22 下午3:38 Greenplum 精粹文集 15 2) 功能上的对比 MPP 数据库采用 SQL 作为主要交互式语言，SQL 语言简单易学， 具有很强数据操纵能力和过程语言的流程控制能力，SQL 语言是专 门为统计和数据分析开发的语言，各种功能和函数琳琅满目，SQL 语言不仅适合开发人员，也适用于分析业务人员，大幅简化了数据 的操作和交互过程。 而对 MapReduce 编程明显是困难的，在原生的 mirror 实例之间实现同步的重要参考数据。 在 Greenplum 集群出现故障时，会有可能导致系统表数据有问题。 系统表出现问题会导致很多种故障产生，如：某些数据库对象不可 用，实例恢复不成功，实例启动不成功等。针对系统表相关的问题， 我们应该结合各个实例的日志信息，系统表的检查结果一起定位问 题，本文将介绍一些定位、分析及解决问题的方法和技巧。 1. 检查工具 Greenplum 提 供 了 $GPHOME/bin/lib 目录下。该工具必须要在 Greenplum 数据库空闲的 时候检查才最准确。若在大量任务运行时，检查结果将会受到干扰， 不利于定位问题。因此，在使用 gpcheckcat 前建议使用限制模式启动 数据库，确保没有其他应用任务干扰。 Big Date2.indd 35 16-11-22 下午3:38 36 2. 分析方法和处理技巧 1) 遇到临时 schema 的问题，命名为

容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 docker+qemu 方案，底噪和启动时间 优化 40%。 • 双平面部署工具 eqqo：ARM/X86 双平面混合集群 0S 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 白皮书 8 白皮书 | 8 • 嵌入式：发布面向嵌入式领域的版本 openEuler 21.09 Embedded，镜像大小<5M，启动时间<5S。 4. 繁荣社区生态 友好卓面环境：UKUDDEXfce 卓面环境，丰富社区卓面环境生态。 • 欧拉 DevKit：支持操作系统迁移、兼容性评估、简化安全配置 secPaver Azure 和 Google 云平台上运行，也可以运行在国内云平台上，如阿里云、 腾讯云等，只需选择要在群集中调配的数据节点数量（不超过预定义的最大大小），然后选择一系列部署选项，群集 便会立即启动运行，可供客户使用，国内外有相当数量的客户已选择云上 Greenplum。 图 2：Greenplum 不受限于基础架构的软件架构 完全兼容欧拉开源操作系统的 HTAP 数据平台

............................. - 290 - 第十三章：启动与停止 GP 数据库 ....................................................................................... - 291 - 启动 GP 数据库 .................................... 的自动 FailOver 效果，编者也实现了自动 切换命令，当 Master 出现无法正常工作的故障时，自动激活 Standby 来接管 Master 的任务。下面的流程图，是编者实现的 Master 和 Standby 自动切换的逻辑流程图， 可以供读者参考，不过，编者不方便公开实现的代码。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 系统表了(这个的确是一个让人很头疼的设计)。 在未启用 Mirror 的情况下，任何的 Primary 失败都会导致 GP 数据库自动停止 服务。必须恢复所有导致 Primary 失败的故障，才能重新启动 GP 数据库集群。 Master 镜像 如同 Primary 需要 Mirror 一样，可以在另一台主机上为 Master 部署一个备份 /镜像，按照惯例将其称为 Standby。在

Greenplum" SEG_PREFIX​=​gpseg PORT_BASE​=​40000 # 根据需要，修改下面的路径和主机名 # 有几个DATA_DIRECTORY, 每个节点上便会启动几个segments declare ​-​a DATA_DIRECTORY​=(/​path​/​to​/​your​/​data ​/​path​/​to​/​your​/​data​) --​backend_output​=​/data/​master​/​gpseg​-​1.initdb 2.2.4 master 起不来 使用下面命令，手动启动master观看日志是否有问题。下面使用 Utility 模式启动master ，仅仅仅仅允许utility 模式连接。 $ postgres ​-​D ​/​data​/​master​/​gpseg​-​1​ ​-​i ​-​p ​-​M master ​-​b ​1​ ​-​C ​-​1​ ​-​z ​0​ ​-m 2.2.5 启动Segment出错 如果启动 segment 时出错，并且看不到具体错误信息（通常由于错误信息被重定向到 /dev/null 了），则可以尝试手动启动 segment。 手动启动segment的命令参加下面，需要根据自己的环境修改某些路径或者参数： export​ LD_L

⽬录 ⽬录 ⽬录 ⽬录 概览 概览 产品架构 产品架构 云数据仓库产品架构 ⾼可⽤ 快速上⼿ 快速上⼿ ⼀、创建数据仓库 ⼆、连接数据仓库 操作指南 操作指南 关闭数据仓库 启动数据仓库 重启数据仓库 查看数据仓库详情 扩容数据仓库 更改数据仓库密码 续费 删除数据仓库 查看操作⽇志 查看监控 ⽬录 Greenplum数据仓库 UDW Copyright 当数据仓库创建成功之后处于运⾏状态，可以在数据仓库列表⻚中关闭数据仓库。 操作指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 38/206 启动数据仓库 启动数据仓库 参⻅关闭数据仓库 重启数据仓库 重启数据仓库 参⻅关闭数据仓库 查看数据仓库详情 查看数据仓库详情 点击“管理数据仓库”进⼊⼆级⻚⾯。 操作指南 Greenplum数据仓库 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 39/206 该⻚⾯上可以看到数据仓库的详细信息，包括db信息以及节点信息。在这个⻚⾯上也可以启动、停⽌或重启数据仓库。点击数据仓库名称右边的“更改”，可更改当前数据仓库名称。 扩容数据仓库 扩容数据仓库 操作指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得

深度揭秘Greenplum开源数据库 透明加密 Greenplum 研发工程师 王淏舟 1. 我们所面临的问题 2. 基于pgcypto的数据加密方案 3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 我们所面临的问题 什么是Greenplum数据库 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 binary) Executeor 现有解决方案 GPDB查询执行流程 Query Planer Data (plain) 现有解决方案 GPDB查询执行流程 Query Planer Executeor Data (plain) Index pruning optimizing 现有解决方案 GPDB查询执行流程 Query Results Planer Executeor pgcypto加密流程 key Data (Encrypted) pgcypto Data (plain) 临时数据 现有解决方案 pgcypto加密流程 Planer Executeor key Data (Encrypted) pgcypto Data (plain) Data (Encrypted) 临时数据 现有解决方案 pgcypto解密流程 Query Planer

数据库服务器器 Master Segment 1 Segment 2 Segment n … SQL 存储过程 结果集 String 聚集 psql … 执⾏行行流程 2017.thegiac.com External Sources Load, streaming, etc. Network Interconnect ... . 邮件⼴广告点击预测 模型不不够精准，需 要更更好的邮件营销 策略略 ● 现有数据分析流程 繁琐，速度慢，有 很多⼿手动步骤，易易 出错 客户 数据科学解决⽅方案 ● 某⼤大型跨国多元 化传媒和娱乐公 司 ● 简化Data 流程 ● 在Madlib上重新建 模和预测 ● 实现流程全⾃自动化 背景 2017.thegiac.com 数据源 • 客户数据 5 6 7 8 原始⼯工作流程 2017.thegiac.com 数据整理理 特征⽣生成 验证 预测 信息价值 ⽅方差膨胀 因⼦子 成对相关性 逻辑回归 Elastic Net 特征选择 模型 1 2 3 4 5 6 改进后的 in-database 流程 2017.thegiac.com 数据编辑/整理理

* from pg_locks，会观察到，这个事务申请的RowExclusive锁还在pg_lock里， 31 在PG里，执行完PREPARE语句之后，此时把数据库停掉（或者杀掉所有数据库进程）再启动起来，会发 现pg_locks里，prepared事务所申请的还在pg_lock表里。 问题2: 既然pg_locks是一个内存的数据结构，记录各个backend进程申请的锁，那数据库重启后，为什 么已经prepared事务申请的锁仍在pg_lock表呢？ prepared事务的恢复过程： 当执行prepare时候，PG会把该事务的lock信息当做prepare日志记录的一部分记录在日志文件（xlog）里。当数 据库重新启动，会读这个日志文件（xlog）这条日志记录，把锁“还原”到pg_lock表里。 1. StartupXlog函数发现XLOG_XACT_PREPARE日志记录进行redo，调用函数recreateTwoPhaseFile将 Greenplum在PG的基础上实现 Greenplum复用PG的实现 33 分布式事务信息在QD和QE之间的同步 MyTmGxact: TMGXACT 分布式事务结构体 • 分布式事务id • 分布式事务管理器启动的时间戳 • 活跃分布式事务中最小的事务id，分布式快照 • session id 34 Greenplum的两阶段提交函数调用关系 35 ● 事务的实现原理和Write Ahead Log（WAL）

Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 Admin常用命令  数据库启动：gpstart  常用可选参数：-a:直接启动，不提示终端使用者输入确  -m:只启动master实例，主要在故障处理时使用 -R:进入限制模式，只有超级用户能访问，常用于系统维护  数据库停止：gpstop：

议不要 在生产环境中使用。 reject reject是拒绝认证 2018年PostgreSQL中国技术大会 微信号：laohouzi999 4. PostgreSQL启动故障排查 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2018年PostgreSQL中国技术大会 gp-seg3 Primary segment Primary segment Mirror segment mirror segment standby master gp-seg4X 2）手工启动整个集群 2018年PostgreSQL中国技术大会 2018年PostgreSQL中国技术大会 2018年PostgreSQL中国技术大会 虽然 standby宕 机，但是 数据已经 被插入