主机相比，相当于完全空闲，那么是否可以将 Master 和 Standy 设置到 Instance 主机上呢？从理论的角度来说，答案是肯定的，因为 GP 数据库的集群概念 是虚拟的，并没有严格限制不同角色必须分离，但，对于生产环境来说，除非可以 100% 确保计算节点机器的资源不会被耗尽，否则，都应该尽最大可能避免 Master 和 Standby 设置到 Instance 主机上，因为，这种模式下，一旦系统在处理负载很高的 转移临时文件或事务文件的位置 注意：此处所说的是6版本之前的概念。 可以选择将临时文件或事务文件转移到一个特殊的文件空间从而改善 DB的查询性 能、备份性能、数据读写的性能。 临时文件和事务文件缺省都是存储在每个 Instance(包括 Master、Standby、 Primary 和 Mirror)目录下。只有 SUPERUSER 可以移动该位置。只有 的工作目 录所在的磁盘，就是整个主机上性能最好的磁盘了。 注意：处所说的是 6 版本的概念。 可以选择将临时文件或事务文件转移到一个特殊的表空间从而改善 DB的查询性能、 备份性能、数据读写的性能。GP 数据库通过 temp_tablespaces 参数来控制，用于 Hash Agg，Hash Join，排序操作等临时溢出文件的存储位置。这个目录缺省为 /base/pgsql_tmp，这与

表执行操作时也会按照numsegment值分配Gang ▪ 增加新节点后，对每个表做EXPAND后该值会随着改成新集群的大小 改进与实现 改进与实现 • EXPAND每个表 – 对表加最高级别锁（其他读写均被阻塞） – 移动数据到新节点 – 修改numsegments – 释放锁 改进与实现 • numsegments的收益 – 不需要将表改成随机分布，单表查询可以做优化 – 对于Join查询，如果分布状态相同的情况下，可以被优化 更新状态表时遇到瓶颈 ▪ Greenplum 6中因为全局死锁检测的引入可以对heap表做并行更新 改进与实现 • 扩容期间对查询的影响 – 新增节点阶段无法修改catalog – 对于正在重分布的表的读写访问均会被阻塞 – 对于分布状态不相同的哈希分布表的Join无法做优化 Q&A Thank you

业务相关场景 Ø用户状态 （注册数，活跃数，并发量，峰值） Ø金币状态 Ø道具/物品状态 Ø对账状态 Ø活动反馈 • 架构相关场景 Ø不同数据量，不同事务特点，不同查询需求 Ø历史数据归档与冷热分离 Ø实时与延时需求的权衡 6 数据仓库体系架构 数据流转过程 • 1 业务数据的产生 —— OLTP • 2 业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 dbsync平台 7 数据仓库体系架构 数据架构示意图 8 数据仓库体系架构 架构的具体技术实现 • 轻量级数据仓库 —— Inforbright – 与MySQL数据库结合，易使用，冷热分离 – 数据库归档，只能load，不支持DML – 对特定OLAP类查询有很好的支持作用 • 通用性数据仓库 —— Greenplum – 独立的数据库仓库解决方案 – 可以很好支持各种方式的数据加载和DML操作

使⽤案例 使⽤案例 案例⼀ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 案例⼆ 基于UDW实现⽹络流分析 PXF 扩展 扩展 配置 PXF 服务 创建 EXTENSION 读写 HDFS ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 4/206 194 196 198 198 198 200 201 授权给需要使⽤ pxf 外部表的⽤⼾： GRANT SELECT ON PROTOCOL pxf TO pan; GRANT INSERT ON PROTOCOL pxf TO pan; 读写 读写 HDFS 在 Hadoop 集群中创建测试数据： $ hdfs dfs -mkdir -p /data/pxf_examples $ echo 'Prague,Jan,101,4875.33

主节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 万兆网（同交换机） 物理机（SSD/SATA） 2016Postgres中国用户大会 支持OSS外部表读写 主节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 Insert into T_GP Select my_udf(name) from T_OSS Where

Greenplum on Kubernetes Master节点示例 Segment节点示例 Greenplum on Kubernetes Greenplum on Kubernetes ● 存储计算分离 ○ PV持久化存储资源 ○ StatefulSet/Pod弹性扩展计算资源 ● 数据库服务层 ○ Service统一Master & Standby Master地址 ● 服务发现机制

25 2PC同样可以应用在单机系统上 协调者 资源管理器1 资源管理器2 资源管理器3 日志1 日志2 日志3 PREPARE / COMMIT / ROLLBACK 命令 参与者 读写操作 26 两阶段提交协议需要处理的故障 1. 参与者故障 参与者恢复后，根据日志 记录来决定重做或者撤 销事务T，是否有记录？是否有或者

0 码力 | 42 页 | 2.12 MB | 1 年前

3

群。 Greenplum中的高可用方案 对于Greenplum 3.X的版本，segment 的primary与 mirror之间是做的逻辑同步，mirror端的数据库实际上 也是可以读写的。而Greenplum4.0版本后，primary与 mirror实际上是物理同步，这时mirror一直处于恢复状 态，不能读也不能写。 高可用之Master Mirroring 对于Greenplum

动抑制，创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步 时间，提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 2. 夯实云化基座 容器操作系统

下午3:38 Greenplum 精粹文集 27 ·加强硬件的监控，所有故障中，最怕硬件半死不活的状态，曾遇到 一客户，由于硬盘发生坏道，但 RAID 卡并未将其标记为 down，导 致坏盘在读写性能非常差的情况下仍然对外提供服务，最终将整个 集群拖慢。 ·如果客户的实际应用还存在大量较高并发的小 IO 操作，比如随机 查询，可以考虑 SSD+SAS+ 表空间的方式，并将随机 IO 类应用对