com www.top100summit.com Greenplum机器器学习⼯工具集和案例例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com • Greenplum ⼤大数据平台 • Greenplum 机器器学习⼯工具 • Greenplum 机器器学习案例例 ⼤大纲 2017.thegiac.com Greenplum: 新一代开源大数据平台 完善的标准支持：SQL、JDBC、ODBC • 集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText：文本检索和分析 • GeoSpatial：地理信息数据分析 • Image: 图像数据分析 Greenplum 机器器学习⼯工具集 2017.thegiac.com Greenplum Procedure Language PLPython, PLR 2017.thegiac.com PL/Python

ODBC, JDBC, OLEDB, etc. 核心MPP 架构 并行数据流引擎 高速软数据交换机制 MPP Scatter/Gather 流处理 在线系统扩展 任务管理 服务 加载 & 数据联邦 高速数据加载 近实时数据加载 任意系统数据访问 存储 & 数据访问 混合存储引擎（行存&列存） 多种压缩，多级分区表 索引（B树，位图，GiST） 安全性 语言支持 标准SQL支持，SQL

Rcpp、RcppEigen、RobustRankAggreg 等 R 语言算法库和程序包。 此外，Greenplum 还支持最新版 Apache MADlib（可用 SQL 进行机器学习、深度学习和图分析），它支持高并行 和基于 GPU 的深度学习模型训练，内置于集群硬件中的 GPU，能帮助 Greenplum 6 的用户获得超过 CPU 2 个数量 级的性能加速，尤其对于可预测的分析用例和图像识别，这些功能将展现奇效。支持在

的操作和交互过程。 而对 MapReduce 编程明显是困难的，在原生的 Mapreduce 开发 框架基础上的开发，需要技术人员谙熟于 JAVA 开发和并行原理， 不仅业务分析人员无法使用，甚至技术人员也难以学习和操控。为 了解决易用性的问题，近年来 SQL-0N-HADOOP 技术大量涌现 出来，几乎成为当前 Hadoop 开发使用的一个技术热点趋势。 这 些 技 术 包 括：Hive、Pivotal 近两年，国内的大数据市场逐渐成熟，有真实的大数据处理需求的企 业数量呈现爆炸性的增长，从传统的数据库产品往 MPP 数据库转型 的增长势头十分迅猛。Greenplum 作为 MPP 产品的领头羊，具有较 低的学习成本，只要学习过 SQL，懂数据库的应用开发，学会使用 Greenplum 是很简单的。这也是国内大量客户选择 Greenplum 产品的 原因之一。每当有新的企业客户使用 Greenplum 产品，就会有一批新

Apache SOLR PostGIS ANSI SQL 其他数据库 SQL ML/统计数据/图形 程序化 文本 地理空间 公有云 私有云 完全 托管云 本地 BI / 报告 自定义应用 机器学习 AI SQL 大规模 并行处理 (MPP) PB 级数据 加载 查询 优化器 (GPORCA) Workload Manager 多态存储 Command Center SQL 兼容性 (Hyper-Q) rpart、sandwich、scales、stringi、stringr、survival、tibble、tseries 和 zoo。 此外，Greenplum 5 还支持最新版 Apache MADlib（可用 SQL 进行机器学习和图分析），支持在 Apache Solr 数据库内实 施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接受 来自支持的 Solr 查询

常用的调试器gdb/lldb虽然简单易用、功能也很强大，但是不直观。很多集成开发环境（IDE）提 供了非常直观、强大、易用的调试环境，包括 clion、eclipse、xcode 等。IDE 对于学习 Greenplum 代码也非常有帮助，可以大大提高效率。 下面简单介绍如何使用 clion 图形化用户界面调试 Greenplum 代码。（Eclipse、VisualCode具有 类似功能） students 语句，可以使用各种调试命令（例如单步执行、断点、跳 出函数等）方便的调试代码。 如上图所示，可以通过 IDE 很直观的看到正在执行的代码片段，以及函数中变量的值。对于学习 和调试Greenplum非常有帮助。 5. 问题讨论 如果遇到问题无法解决，优先建议到 gpdb-dev 邮件列表讨论，或者在github上面报告Issues (​https://github

的分布式优势，也就是说，学好这些 知识是极其重要的。和很多 IT 技术一样，入门很容易，精通很难，编者认为，GP 入 门更容易，精通也更难，一般不要指望通过几个月的刻苦学习就能达到很深的造诣，甚 至有些人学习了多年，仍无法驾轻就熟的使用和调优，不过，也不要气馁，这就如同打 游戏，不断的学习和积累，终究会在某个点突破禁锢，登堂入室。 数据是如何存储的 要理解 GP 是如何在不同的 Instance 之间存储数据的，可以参考下图所示的简单 实际上，正如前面所述，RLE压缩算法并没有什么实用意义，忘记这个事情就好了， 好好使用ZSTD就对了。 在列上设置压缩 注意：编者不希望读者浪费很多时间来学习这部分的知识，所以，先把观点列出来，编 者根据10年的经验判断，除了作为一块知识来学习外，可能永远也不需要在每个字段 上设置压缩，因为那是极其多余和毫无意义的。在真实的使用环境中，往往列存储的选 择都应该是极其少见的，因为列存储的选择需要满足多方面条件，选择列存的往往是那 这里关于优先级的说明，源文档中有5句，但是，实在难以说清楚，原文的英文说 明理解起来可能还比较清晰，但要用中文讲清楚实在是困难，这里可以简单的一句话来 总结：越靠近具体字段的压缩设置，优先级越高。具体的可以参考后续的例子来学习和 理解。 注意：COLUMN表不允许使用INHERITS语法，若使用LIKE子句来创建TABLE，表层面 的存储参数以及COLUMN层面的存储参数都会被忽略，不会被继承。

外部表: HDFS，S3，文件， 网络，命令，流式数据… Confidential │ ©2022 VMware, Inc. 16 Greenplum生态：Madlib Ø 在数据库内做机器学习 Ø 非常多的算法库 Confidential │ ©2022 VMware, Inc. 17 GPText Ø MPP化的Apache Solr，用于全文检索和文本分析 Ø 举例: q

集成数据分析平台：支持商业智能（BI）、文本、GIS、图、图像等。流式支持也在开发 中。通过 Pivotal 开源的 Apache 顶级项目 MADlib，Greenplum 可以在数据内部运行 50 多种数据分析和机器学习算法。MADlib 提供 SQL 接口进行数据分析，大大降低了数据分 析的门槛；MADlib 内建于数据库内，使用 MPP 的优势，提高了分析的效率；MADlib 可 以在全量数据而不是抽样数据上进行分析，提高了精度。

Pivotal Confidential–Internal Use Only 卓越的OLAP特性 列式存储 分区、压缩 高级特性 递归查询、窗口函数 集成分析 多格式、多语言 Madlib: 机器学习 数据库内并行模型训练和预测、分类 ORCA 复杂查询优化器 成熟稳定 完备生态、支撑核心生产系统 13 Pivotal Confidential–Internal Use Only 列式存储