Greenplum 6: 混合负载的理想数据平台 高小明 全球领先的开源MPP大数据平台 可扩展性 ACID事务 VS 分布式 简单易用 VS 结构化 半结构非结构化 VS 事务型 分析型 VS MPP - massively parallel processing - 大规模并行处理 master standby primary :bid, :aid, :delta, CURRENT_TIMESTAMP); END; HTAP - Hybrid transactional/analytical processing - 混合事务/分析处理 Gartner技术成熟度曲线 OLTP-OLAP独立部署 OLTP数据库 OLAP数据仓库 ■ 实时性 ■ 数据同步复杂性 ■ 应用复杂性 HTAP HTAP = ?

6 及未来发布的 Greenplum 7 丰富的 HTAP 特性，具备良好性能、可靠性和稳定性，使得 Greenplum 不仅可以作为全能的分析化平台，也能满足交易型业 务场景，能够处理多种并发混合工作负载，专为满足在多结构数据环境中进行实时分析的需求而设计。 欧拉开源操作系统是一款面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多 样性计算，致力于提供安全、稳定、易用的操作系统。 白皮书 7 白皮书 | 7 1. 引领内核创新 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制，创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 docker+qemu 方案，底噪和启动时间 优化 40%。 • 双平面部署工具 eqqo：ARM/X86 双平面混合集群 0S 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler21.09Edae.集成 KubeEdae+边云协同框架，具备边云应用统一管

有云和私有云）中，也适用不同的本地配置。其大规模并行处理 (MPP) SQL 的设计核心是一个称为 GPORCA 的新一代查 询优化器。GPORCA 专为满足在多结构数据环境中进行高级分析的需求而设计，能够处理多种并发混合工作负载的复杂查 询。与旧式 MPP 数据库中常用的传统 RDBMS 查询优化器相比，GPORCA 大幅度地提高了查询性能。 Pivotal Greenplum 5：新一代数据平台 作为重要的新版本，Pivotal 进行机器学习和图分析），支持在 Apache Solr 数据库内实 施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接受 来自支持的 Solr 查询处理器的采用混合语法的查询）。PostGIS 程序包是 PostgreSQL 的空间数据库扩展，可让地理信息 系统 (GIS) 对象存储在数据库中。Pivotal Greenplum PostGIS 扩展包括支持使用基于 GPORCA 能够针对分析数据仓库中常见的一些复杂情况生成更高效的代码，因而非常实用。过去，系统默认使用传统查询 优化器，但自 Greenplum 5 起，GPORCA 将成为默认查询优化器。它能够通过并发的混合工作负载处理多种复杂查询， 并可提高查询性能。2 这样一来，大型团队就可以利用高级分析和多元化工作负载并行处理多个分析用例，针对大型数据卷实现较高的分析查询 性能。GPORCA 的强大之处在于 能够以并行方式针对提交的

Greenplum 介绍 Greenplum 是全球领先的开源大数据平台，是能够提供包含实时处理、弹性扩容、混合负载、云 原生和集成数据分析等强大功能的大数据引擎。 著名分析机构 Gartner 2019 年报告中，在经典数据分析领域 Greenplum 全球排名第三，实时分 析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 级结构化、半结构化和非结构化数据存储、处理和实时分析能力，可部署于企 业裸机、容器、私有云和公有云中。值得一提的是，作为 OLAP 型的大数据平台, Greenplum 同 时还能够支持涵盖 OLTP 型业务的混合负载，从而帮助客户真正打通业务-数据-洞见-业务的闭环。 目前，Greenplum 已经为国内外各行各业客户所广泛使用,支撑着全球各大行业的核心生产系统， 其涉及领域涵盖金融、保险、证

分布式事务两阶段提交”， Greenplum 还研发了非常多的高级数据分析管理功能和企业级管理模 块，如下这些功能都是 Postgresql 没有提供的： ·外部表并行数据加载 ·可更新数据压缩表 ·行、列混合存储 ·数据表多级分区 ·Bitmap 索引 ·Hadoop 外部表 ·Gptext 全文检索 ·并行查询计划优化器和 Orca 优化器 ·Primary/Mirror 镜像保护机制 ·资源队列管理 core 的能力），但即使是这样， 在那个测试中，测试性能也大幅低于 Greenplum（那个测试中，各厂 商基于客户提供的完全相同的硬件环境，Greenplum 是唯一一家完成 所有测试的，特别在混合负载测试中，Greenplum 的 80 并发耗时 3 个多小时就成功完成了，其它厂商大都没有完成此项测试，唯一完成 的一家耗时 40 多小时）。 Big Date2.indd 9 16-11-22 16-11-22 下午3:38 22 2. 开放性 在短短的两年半时间里，该客户已经选择了多个厂商的 PC 服务器用 于部署 Greenplum，包括 DELL、HP、IBM 等等，且在单个集群混合 了不同厂商不同型号的服务器。Greenplum 数据库在这些硬件上的表 现都很稳定。 开放性的特性给客户带来的好处，不只是硬件厂商和型号的选择范围， 也包含工程实施过程的便利性。2014 年，该客户大数据平台需要进行

1000000000  kernel.sem = 250 512000 100 2048  Redhat 6.2以后，内核增加了hugepage大页内存管理，关闭hugepage可以提高混合负载管理性能 设置办法：修改local脚本 For SUSE /etc/init.d/boot.local For RHLE /etc/rc.d/rc.local 追加内容： 采用列存储，其它表采用行存储 数据压缩： • 在金融业，行压缩的数据压缩比在1:6左右，一般采用zlib5级压缩 • 数据压缩对于高并发查询分析系统可以大幅降低IO消耗，提升并行处理、混合负载的性能 分布键使用： • 尽量采用一个常用关联字段作为分布键，例如账号、客户号，这个可以提高关联条件的命中率，减少关联时数据重分布 （主要对大表） • 选用分布键同时考虑数据

主机上，否则，一旦主机发生宕机故障，位于同一 主机上互为配对关系的 Primary 和 Mirror 将同时不可用，数据库也将处于不可用状 态，这样的话，就失去了 Mirror 的意义。 例如下图所示，这是一种混合循环镜像模式，每 4 台主机组成一个镜像组，每台 计算主机上有 6 个 Primary，6 个 Primary 配对的 Mirror 均匀分布在另外三台机 器上。编者还实现了多种镜像模式，例如，循环镜像，指定的数台主机组成一个环，每 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 16 - 如下图所示，这是一种混合配对镜像模式，将一群数量为偶数的机器，分为两组， 每台机器的镜像分散在对面组的机器上。关于如何选择镜像模式，以及如何分散镜像关 系，可以根据用户的实际需求进行评估和实施。 目前，编 文件，不过，缺省情况下这些命令会自动完成这些必要 的修改操作。 pg_hba.conf 是一个平面文件，按照行来区分每条记录。空行会被忽略，任何在 (#)后的字符串都会被忽略。每行记录由一系列 Space 和 Tab 混合分割的属性组成。 如果需要在属性中出现空白字符，需要将该属性用引号引起来。记录不可跨行。每条远 程客户端的访问许可，都像这种格式： host database role CIDR-address

高速软数据交换机制 MPP Scatter/Gather 流处理 在线系统扩展 任务管理 服务 加载 & 数据联邦 高速数据加载 近实时数据加载 任意系统数据访问 存储 & 数据访问 混合存储引擎（行存&列存） 多种压缩，多级分区表 索引（B树，位图，GiST） 安全性 语言支持 标准SQL支持，SQL 2003 OLAP扩展 支持 MapReduce 扩展编程语言 (Python

和线性拓展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容 SQL 标准。拥有独 特的高效的 ORCA 优化器，具有强大、高效的 PB 级数据存储、处理和实时分析能力，同时支持 OLTP 型业务的混合负载。 Greenplum 分布式数据库简介 5 Confidential │ ©2021 VMware, Inc. Greenplum 集群化概述 Coordinator/Segment,