........................................................................................ - 223 - 自定义函数 ................................................................................................ 的资源组会管理所有通过 palloc()函数分配的内存，通过 linux 的 malloc()函数分配的内存将不会被资源组管理。因此，为了确保基于 ROLE 的资源组 能够准确的管理内存的使用情况，应该避免在自定义函数中使用 malloc()函数来分 配大量内存。 配置与使用资源组 注意：在RedHat6或者CentOS6中使用资源组是有问题的，这是因为早期的cgroup 有缺陷，最好将Kernel升级到2 RANDOMLY或者DISTRIBUTED REPLICATED 子句，GP将会选择使用HASH分布，并依次考虑使用主键(假如该Table有的话)或者第 一个字段作为HASH分布的DK。几何类型或者自定义类型的Column是不适合作为GP的 DK的。如果一个Table没有一个合适类型的Column作为DK，该表将使用随机分布策略。 另外，如果设置了gp_create_table_random_def

Greenplum Operator Kubernetes Operator ● 自定义资源类型 ○ Custom Resource Definition (CRD) ○ 和内置资源用法一致 ● 自定义控制器 ○ Custom Controller (Operator) ○ 根据资源状态封装对资源的自定义操作 Greenplum CRD $ kubectl create -f my-gp-instance yaml Greenplum Operator ● Kubernetes Deployment维护Greenplum Operator ● 集群自动部署 ○ kube-scheduler → 自定义部署策略 ● 集群动态扩容 ○ GreenplumCluster → primarySegmentCount参数 ● Master节点检测及修复 ○ 自动执行gpactivatestandby

Java、Perl、C Apache SOLR PostGIS ANSI SQL 其他数据库 SQL ML/统计数据/图形 程序化 文本 地理空间 公有云 私有云 完全 托管云 本地 BI / 报告 自定义应用 机器学习 AI SQL 大规模 并行处理 (MPP) PB 级数据 加载 查询 优化器 (GPORCA) Workload Manager 多态存储 Command Center SQL 还支持最新版 Apache MADlib（可用 SQL 进行机器学习和图分析），支持在 Apache Solr 数据库内实 施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接受 来自支持的 Solr 查询处理器的采用混合语法的查询）。PostGIS 程序包是 PostgreSQL 的空间数据库扩展，可让地理信息 系统 (GIS) 对象存储在数据库中。Pivotal Software, Inc.保留所有权利。 PIVOTAL GREENPLUM 5：新一代数据平台 在 Greenplum 5 中，Workload Manager 的功能有所增强，提高了规则创建的可自定义程度，并改进了监控查询活动及其 所用资源的方式。它可在查询运行过程中监控并检测内存、CPU 和磁盘 I/O 偏差。随后，Workload Manager 会在查询使 用的某项资源超过已定义阈值时记录

具有强大的内核技术，包括数据水平分布、并行查询执 行、专业优化器、线性扩展能力、多态存储、资源管理、高可用、高速数据加载等。 ● 具备强大灵活性和可扩展性的平台： 支持扩展（Extension）、自定义类型和函数、PXF 和外部表技术。可以使用多种语言实现用户自定义函数和聚集，包括 PL/Python、PL/R、 PL/Java、PL/Perl、PL/PGSQL 和 C 等。 ● 支持标准的平台：支持 SQL、JDBC 和

extension，不 是 scalability），Greenplum 可以采用各种开发语言来扩展用户自定 义函数（UDF）（我个人是 Python 和 C 的 fans，后续章节与大家分享）。 这些自定义函数部署到 Greenplum 后可用充分享受到实例级别的并行 性能优势，我们强烈建议用户将库外的处理逻辑，部署到用 MPP 数 据库的 UDF 这种 In-Database 的方式来处理，你将获得意想不到的性 数据库保护器 - Pivotal Greenplum》。该文件列明了在 Greenplum 主档和节点上安装 PEP 服务器所需执行的步骤，它还包含应该如何导入 Greenplum 必要的 UDF（用户自定义函数，即内嵌入数据库的小节点例程）以操作数据 并与 PEP 应用程序通信的相关说明。 为了验证安装是否成功，请查看 Protegrity 功能是否已创建。此外， 请检查 pty_whoami 功能是否返回了执行该功能的用户

历史数据和不常访问的数 据存储在 HDFS 或者其他 外部系统中 Ÿ 无缝查询所有数据 Ÿ Text, CSV, Binary, Avro, Parquet 格式 6月 5月 10月 9月 8月 用户自定义数据存储格式 14 Pivotal Confidential–Inter nal Use Only 大规模并行数据加载 • 高速数据导入和导出 – 主节点不是瓶颈 – 10+ TB/小时/Rack

(Replicated Distribution) 数据分布策略 Confidential │ ©2021 VMware, Inc. 10 哈希分布是分布式数据库最为常用的数据分布方式。根据用户自定义的分布键计算哈希值，然后将 哈希结果映射到某个 Segment 上。在 Greenplum 6 中，默认采用一致性哈希(Jump Consistent Hash)分布策略。 哈希分布 当增加一个

敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） • MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText：文本检索和分析 • GeoSpatial：地理信息数据分析 • Image: 图像数据分析

历史数据和不常访问的数 据存储在 HDFS 或者其他 外部系统中 • 无缝查询所有数据 • Text, CSV, Binary, Avro, Parquet 格式 6月 5月 10月 9月 8月 用户自定义数据存储格式 并发管理 ■ pgbouncer ■ 资源组（resource group） create resource group rg1 (cpu_rate_limit=20, memory_limit=10

个数量 级的性能加速，尤其对于可预测的分析用例和图像识别，这些功能将展现奇效。支持在 Apache Solr 数据库内实施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接 受来自支持的 Solr 查询处理器的采用混合语法的查询）。PostGIS 程序包是 PostgreSQL 的空间数据库扩展，可让地 理信息系统 (GIS) 对象存储在数据库中。Greenplum