..................................................................................... - 151 - 视图的依赖关系 ................................................................................................. ....................................................................................... - 271 - 软件依赖 .................................................................................................. 版本中，系统表中记录 Mirror 关系 的系统表设计已经发生了重大变化。 Mirror 使得数据库查询在 Primary 不可用时可以自动切换到 Mirror 上。为了 配置 Mirror，GP 系统需要有足够多的主机，从而可以确保作为冗余角色的 Mirror 总是位于与 Primary 不同的 Host 主机上，否则，一旦主机发生宕机故障，位于同一 主机上互为配对关系的 Primary 和 Mirror

——greenplum，因此而得名）召集了十几位业界大咖（据 说来自 google、yahoo、ibm 和 TD），说干就干，花了一年多的时间 完成最初的版本设计和开发，用软件实现了在开放 X86 平台上的分布 式并行计算，不依赖于任何专有硬件，达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 精粹文集 3 大家都知道 Greenplum 为它贡 献力量。 2) 为什么是 Postgresql 而不是其它的？ 我想大家可能主要想问为什么是 Postgresql 而不是 Mysql ？（其实， 还有很多开源关系型数据库，但相比这两个主流开源库，实在不在 一个起跑线上）。我们无意去从技术点上PK这两个数据库孰优孰劣， 我相信它们的存在都有各自的特点，它们都有成熟的开源社区做支 持，有各自的庞大的 fans 群众基础。我们认为，Greenplum nothing 无共享架构，从而更将这种并行计算能力发挥到极致，除此之 外，MPP 采用两阶段提交和全局事务管理机制来保证集群上分布式事 务的一致性，Greenplum 像 Postgresql 一样满足关系型数据库的包括 ACID 在内的所有特征。 从上图可以看到，Greenplum 的最小并行单元不是节点层级，而是在 实例层级。安装过 Greenplum 的同学应该都看到每个实例都有自己 的 Postgresql

partitionlevel, partitionrank FROM pg_partitions WHERE tablename='p_store_sales'; 备注： pg_partition：跟踪分区表及其继承关系信息。 pg_partition_templates：创建⼦分区使⽤的⼦分区模版信息。 pg_partition_columns： 分区表分区键值信息。 开发指南 Greenplum数据仓库 UDW DROP INDEX 名字 [, ...] [ CASCADE | RESTRICT ] 命令: DROP RULE 描述: 删除⼀个重写规则 语法: DROP RULE 名字 ON 关系 [ CASCADE | RESTRICT ] 命令: DROP SCHEMA 描述: 删除⼀个模式 语法: DROP SCHEMA 名字 [, ...] [ CASCADE | RESTRICT 以上版本。SuperSet 官⽹建议使⽤ Python3。 接⼊第三⽅ BI ⼯具 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 163/206 安装系统依赖： yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel

Greenplum架构: Master介绍 Master服务器是外面用户访问greenplum的入口。用户 都是连接master服务器的，对于外部用户来说，他并不 与segment host服务器发生任何关系，外部用户的网络 只需要与master服务器连通就可以了，不需要访问 segment host服务器。 所有的用户连接都是直接连接到master服务器上的。 Greenplum数据库是基于PostgreSQL数据库的，所以 的特定数据集的本地数据库业务。 所有的数据库操作，如表扫描、表连接（joins)、聚集 （ aggregations），排序，这些操作都会在所有的 segment上并行执行。每个segment执行这些操作时都 不依赖其它的segment。 除了上面这引起典型的数据库操作，Greenplum的 数据库有一个额外的操作类型，称为的motion。 motion操作就是把查询处理过程中涉及到的其它节点 上的数据在各个节点中做移动。

greenplum.com www.greenplum-china.com Greenplum：简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 能所设计 3 推动数据依赖型企业的发展 全球各地的一些Greenplum客户 4 亚太地区 欧洲、中东、非洲 北美 中国的客户 5 金融 交通 互联网 其它 Teradata Netezza Oracle Greenplum 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案

查询视图GP_TOOLKIT.GP_BLOAT_DIAG可监控垃圾空间的膨胀系数 • REINDEX:回收索引的垃圾空间 AGE监控和管理  PostgreSQL的MVCC事务语意依赖于比较事务ID(XID)的数值： 一条带有大于当前事务的XID的插入 XID的行版本是―属于未来的‖， 并且不应为当前事务可见。  PostgreSQL使用特殊的 XID(FrozenXID)与普通的XID进行区分。 -f：显示standbymaster同步状态  -e:显示Primary和Mirror同步状态 -m：只列出mirror实例的状态和配置信息 -c：primary instance和 mirrorinstance的对应关系  -s：查看详细状态，如在同步，可显示数据同步完成百分比  --version,查看数据库version  该命令默认列出数据库运行状态汇总信息，常用于日常巡检。 

Greenplum扩展规划 六 10 greenplum体系架构 postgresql体系结构 11 greenplum体系架构 postgresql体系结构 • pg结构组成 Ø 连接关系系统 Ø 编译执行系统 Ø 存储执行系统 Ø 事务系统 Ø 系统表 • pg逻辑和物理结构 Ø instance实例 - user - tablesapce Ø database - schema 数据来源来源为OTLP库库，针对大数据量传输和计算，采用T+1方式 Ø 以核心业务的数据计算、统计为主 18 Greenplum现状说明 数据架构示意图 19 Greenplum现状说明 三大Greenplum集群关系 • 数据来源不同 • 数据处理不同 • 时效速度不同 • 体系架构相同 • 年表划分相同 • 平台整体定位 • 定位不同，多集群配合形成逻辑大集群 20 Greenplum现状说明 Greenplum多层业务规划图 vaccum 操作 Ø避免直接在Greenplum执行消耗session会话的操作 Ø尽量不创建索引 • 上线与调度规范 Ø上线的程序，必须要经过测试，才可以生产使用 Ø调度程序需考虑每个任务的前后关系，时间富裕 Ø避免因为过于追求并行度，对多个任务造成相互影响 38 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系

子性， 先把Undo Log写入日志文件。Undo Log记录修改数据对象的旧值(Before Image, BFIM) Solution: Logging 15 缓冲区管理策略和事务恢复的关系 Force No-Force Steal Undo / No-Redo Undo + Redo (performance: fastest recovery: slowest) TMGXACT 分布式事务结构体 • 分布式事务id • 分布式事务管理器启动的时间戳 • 活跃分布式事务中最小的事务id，分布式快照 • session id 34 Greenplum的两阶段提交函数调用关系 35 ● 事务的实现原理和Write Ahead Log（WAL） ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化

command+R 进入恢复模式 3. 从 Utilities 菜单选择 Terminal 4. 执行 csrutil disable 5. 重启操作系统 // 安装Greenplum管理脚本依赖的 Python 包 $ wget https://bootstrap.pypa.io/get-pip.py $ sudo python get-pip.py $ sudo pip install Greenplum 源代码 $ git clone https​:​//github.com/greenplum-db/gpdb Greenplum Database 编译和运行依赖于各种系统库和Python库。需要先安装这些依赖： $ sudo ​yum groupinstall 'Development Tools' # GCC, libtools etc $ sudo yum install

无状态计算资源组：Deployment ○ 有状态计算资源组：StatefulSet ● Pod持久存储 ○ 通过PVC申请PV存储资源 ● StatefulSet ○ Pod网络地址不变 ○ Pod与PV映射关系不变 Kubernetes 网络资源 Service ● Service ○ 定义统一网络地址 ○ 分布式应用程序路由映射 ○ 负载均衡器 Greenplum on Kubernetes