集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） • MADLib: 数据挖掘、统计分析、图（Graph）等算法 PageRank 2017.thegiac.com Greenplum 集群规模: ● 1 主 ● 4 数据节点 ● 每个节点6个segment 每个定点有50个边的图 5B edges (1K) (10K) (100K) (1M) (10M) (100M) Note: log-log scale (100s) (1s) (10K 新会话 建模过程 对API请求结合超时和 K-means聚集处理理 验证聚 类结果 2017.thegiac.com 主题分布热⼒力力图检测异常 2017.thegiac.com 股票分析师 固定收益分析师 客户行为热图 建模效果示例例 2017.thegiac.com 改良前 改良后 X 在R上对data sample进⾏行行分析， DCA闲置

pivotal.io/cn 白皮书 4 © Copyright 2017 Pivotal Software, Inc.保留所有权利。 PIVOTAL GREENPLUM 5：新一代数据平台 图 1：Pivotal Greenplum 5：新一代数据平台。 以开源创新替代专有分析环境 为了支持 Greenplum 的后续发展，Pivotal 于 2015 年决定将其产品 Greenplum 云平台上运行，并且同时支持自带使用授权 (BYOL) 配置和以小时为单位的按需配置。只需选择要在群集中调配的数据节点数量（不超过预定义的最大大小），然后选择一系 列部署选项，群集便会立即启动运行，可供客户使用。 图 2：Pivotal Greenplum 5：不受限于基础架构的软件架构。 不受限于基础架构 裸机 私有云 公有云 pivotal.io/cn 白皮书 6 © Copyright 2017 、stringi、stringr、survival、tibble、tseries 和 zoo。 此外，Greenplum 5 还支持最新版 Apache MADlib（可用 SQL 进行机器学习和图分析），支持在 Apache Solr 数据库内实 施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接受 来自支持的 Solr 查询处理器的采用混合语法的查询）。PostGIS

Greenplum 社区版同时能够支持 X86 和 ARM 架构的芯片，支持主流品牌的芯片和操作系统，也将支持越来越多样 化的芯片和操作系统，特别是中国的本地化的芯片和操作系统： 图 1：Greenplum 纯中立支持主流芯片和操作系统 另外随着越来越多的客户将其生产数据集迁移到公有云中，这种灵活性将成倍增长。Greenplum 目前不但可在国外 的 Amazon Web 腾讯云等，只需选择要在群集中调配的数据节点数量（不超过预定义的最大大小），然后选择一系列部署选项，群集 便会立即启动运行，可供客户使用，国内外有相当数量的客户已选择云上 Greenplum。 图 2：Greenplum 不受限于基础架构的软件架构 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 版本采用了多个集群间异步的方式来处理，来确保数据同步。这样备份集群和主 集群之间可能会存在延迟，延迟的大小是由传输管道的带宽决定的，但在大部分使用场景下，这样的延迟是可以接受 的。 图 3：Greenplum 多站点复制 Master 节点自动 Failover Greenplum 7 将实现 Master 的自动 Failover,当 Coordinator（Master），如果

需要移动数据，避免了数据加载的复杂 性，和其带来的数据不一致的问题。 ● 支持各种数据格式的平台：不管是结构化、半结构化（XML、JSON、KV）还是非结构化， 譬如文本数据、GIS 数据、图数据等。 ● 具有强大内核的平台：Greenplum 具有强大的内核技术，包括数据水平分布、并行查询执 行、专业优化器、线性扩展能力、多态存储、资源管理、高可用、高速数据加载等。 ● 具备强大灵活性和可扩展性的平台： 成为了数据平台的万向头，向上可以连接各种 BI 工具、可视化工具和数据分析工具， 向下可以连接各种 ETL 工具、各种数据源和各种格式的数据等。 ● 集成数据分析平台：支持商业智能（BI）、文本、GIS、图、图像等。流式支持也在开发 中。通过 Pivotal 开源的 Apache 顶级项目 MADlib，Greenplum 可以在数据内部运行 50 多种数据分析和机器学习算法。MADlib 提供 SQL

Date2.indd 41 16-11-22 下午3:38 42 2. 执行计划对性能的影响 所谓执行计划，就是 GP 根据 SQL 和相关统计信息规划出的一种执行 线路图。之后的执行将严格按照该线路图执行 ( 至少目前的产品特点 如此 )，执行计划的优劣直接决定了 SQL 性能。在 pgAdmin3 中看到 如下执行计划节点时，需要警惕： 广播 (Broadcast Motion) 下午3:38 Greenplum 精粹文集 55 此外还应用了 Protegrity ESA 内的其他规则，可确保向任何尝试通过 查看功能查看数据的其他用户隐藏数据。在恶意管理员访问数据并试 图获取社会安全号码的时候它将仅显示最后 4 位数，隐藏并保护剩余 的敏感数据。 Protegrity 可以使用各种加密算法，但此种数据标记对数据科学家而言 尤其适用。不断对数据启用常用加密将增加额外的处理费用，且常用

的自动 FailOver 效果，编者也实现了自动 切换命令，当 Master 出现无法正常工作的故障时，自动激活 Standby 来接管 Master 的任务。下面的流程图，是编者实现的 Master 和 Standby 自动切换的逻辑流程图， 可以供读者参考，不过，编者不方便公开实现的代码。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 54 - 此图展示的是内存配额的情况，该图与官方文档中有不同，因为 default_group 资源组的 memory_limit 是 0，应该是只能使用全局共享内存的资源。 当一个查询的内存消耗超过了资源组中定额部分的限制，将可以从该资源组的可共 reporting队列且同时运行，他们将获得相同CPU资源。当一个来自adhoc队列语句 开始运行，其需要较少的CPU资源。CPU资源的分配将做调整，他们之间的比重受他们 的优先级决定： 注意：该图显示的是粗略的百分比。在CPU的使用上，并不总是按照精确的比值来 分配资源，因为资源组做不到CPU资源的精细控制。 当一个来自executive的语句开始执行，CPU资源将根据他们的优先级重新调整。

数据处理不同 • 时效速度不同 • 体系架构相同 • 年表划分相同 • 平台整体定位 • 定位不同，多集群配合形成逻辑大集群 20 Greenplum现状说明 Greenplum多层业务规划图 21 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六

r在1983年中提出了事务的隔离性并提出术语 “ACID”，自此，事务的ACID四个性质成为业内标准术语 8 Disk-Oriented DBMS Components 数据库管理系统组成图 Hector Garcia-Molina /Jeffrey D.Ullman/Jennifer Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复

(cost=0.00..2.03 rows=2 width=12) Optimizer status: legacy query optimizer 使用 explain.pl 可以生成如下的查询计划图：(把上面的explain结果保存到一个名为 a.plainplan 的文件中） $ explain.pl -opt jpg < /tmp/a.plainplan > /tmp/a.jpg