............................................................................................. 12 集成分析：改进后的全新分析接口 ..................................................................................... 作为一个操作系统发行版平台，每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的 操作系统。 openEuler 也是一个技术孵化器。通过每半年发布一次的创新版，快速集成 openEuler 以及其他社区的最新技术成 果，将社区验证成熟的特性逐步回合到发行版中。这些新特性以单个开源项目的方式存在于社区，方便开发者获得源代 码，也方便其他开源社区使用。 eqqo：ARM/X86 双平面混合集群 0S 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler21.09Edae.集成 KubeEdae+边云协同框架，具备边云应用统一管 理和发放等基础能力。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum

Greenplum 介绍 Greenplum 是全球领先的开源大数据平台，是能够提供包含实时处理、弹性扩容、混合负载、云 原生和集成数据分析等强大功能的大数据引擎。 著名分析机构 Gartner 2019 年报告中，在经典数据分析领域 Greenplum 全球排名第三，实时分 析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 等行业标准。经过半个多世纪的发展， SQL 成为了数据平台的万向头，向上可以连接各种 BI 工具、可视化工具和数据分析工具， 向下可以连接各种 ETL 工具、各种数据源和各种格式的数据等。 ● 集成数据分析平台：支持商业智能（BI）、文本、GIS、图、图像等。流式支持也在开发 中。通过 Pivotal 开源的 Apache 顶级项目 MADlib，Greenplum 可以在数据内部运行 50 内建于数据库内，使用 MPP 的优势，提高了分析的效率；MADlib 可 以在全量数据而不是抽样数据上进行分析，提高了精度。 ● 开放源代码且持续大力投入的平台： 2017 年 Pivotal 在 github 的开源贡献列表中全球排 名第四左右。 采用开源方案，不担心后门问题，不担心被锁定。开源还可以构建更好的 生态。 ● 采用敏捷软件开发方法开发的平台：Greenplum 采用敏捷方法开发，实现了快速迭代、持

well-showcased 12 Pivotal Confidential–Internal Use Only 卓越的OLAP特性 列式存储 分区、压缩 高级特性 递归查询、窗口函数 集成分析 多格式、多语言 Madlib: 机器学习 数据库内并行模型训练和预测、分类 ORCA 复杂查询优化器 成熟稳定 完备生态、支撑核心生产系统 13 Pivotal Confidential–Internal 50亿条链接 (1K) (10K) (100K) (1M) (10M) (100M) Note: log-log scale (100s) (1s) (10K s) (1M s) 数据库内集成分析 GRAPHS Confidential & Proprietary “请找出这样的员工，在Pivotal工作，互相直接 认识， 有一个人名字听起来像是 ‘Peter’ 或者 ‘Pavan’ 中文社区：http://greenplum.cn ■ 文档：https://gpdb.docs.pivotal.io/6-0Beta/main/index.html ■ 代码：https://github.com/greenplum-db/gpdb 由于微信群组规定限制，请首先添加这个入群 助手个人微信，会拉您入群 QQ群

⽅法三：创建新表，导⼊数据 CREATE TABLE...AS SELECT 命令把该表拷⻉为⼀个新表，新建的表将不会出现膨胀现象。然后删除原始表并且重命名拷⻉的表。 参考： https://gp-docs-cn.github.io/docs/best_practices/bloat.html https://docs.ucloud.cn/udw/developer?id=_43-%e9%80%89%e6%8b%a9 Airbnb（知名在线房屋短租公司）开源的数据分析与可视化平台（曾⽤名Caravel、Panoramix），该⼯具主要特点是可⾃助分析、⾃定义仪表盘、分析结果可视化 （导出）、⽤⼾/⻆⾊权限控制，还集成了⼀个 SQL 编辑器，可以进⾏ SQL 编辑查询等。 部署 部署 SuperSet 以 Centos 64 操作系统为例(其他操作系统可参考：http://airbnb.io/superset/installation password@host:port/database 点击“TEST CONNECTION”，提⽰测试连接成功，并且在最下⽅，列出了数据库dev中所有的表。 2）执⾏sql SuperSet集成了⼀个SQL编辑器，点击“SQL Editor”，选择schema(不选的话是默认的schema，⼀般是public），选择⼀个表可以预览该表的数据，如下图所⽰： 接⼊第三⽅ BI ⼯具 Greenplum数据仓库

开源社区最新源代码 6X_STABLE 分支： https://github.com/greenplum-db/gpdb​，内核代码基于 PostgreSQL 9.4。目前（2019/04/23) 主 干分支的代码基于 PostgreSQL 9.4。合并到 PostgreSQL 9.5 的工作也已经开始，有关最新工作 进展请参见：​https://github.com/greenplum-db/gpdb-postgres-merge​。 Redhat/Centos 系统上编译 本小节以 RHEL7 为例介绍如何编译Greenplum。 首先下载 Greenplum 源代码 $ git clone https​:​//github.com/greenplum-db/gpdb Greenplum Database 编译和运行依赖于各种系统库和Python库。需要先安装这些依赖： $ sudo ​yum groupinstall 的重用时间由 GUC gp_vmem_idle_resource_timeout 控制。 4.3 使用 IDE 调试 常用的调试器gdb/lldb虽然简单易用、功能也很强大，但是不直观。很多集成开发环境（IDE）提 供了非常直观、强大、易用的调试环境，包括 clion、eclipse、xcode 等。IDE 对于学习 Greenplum 代码也非常有帮助，可以大大提高效率。 下面简单介绍如何使用

............................................................................................... 4 集成分析：改进后的全新分析接口 ..................................................................................... greenplum.org 网站下载和编译的版本以及通过 Pivotal Network 分发的打包版本将具有相同的内核（只有个别微小差 别）。这是两年来致力于与 PostgreSQL 8.3.23 集成的成果，目的在于扩展和融入以 Greenplum 为中心的生态系统和社 区。为了更好地贴合 PostgreSQL 社区的模式，他们对代码库进行了重构，这样一来，便可以更轻松地从最新版本（未来 的 PostgreSQL pivotal.io/cn 白皮书 6 © Copyright 2017 Pivotal Software, Inc.保留所有权利。 PIVOTAL GREENPLUM 5：新一代数据平台 集成分析：改进后的全新分析接口 一直以来，客户都能在 Pivotal Greenplum 中做高级分析，无论是提供将应用逻辑向下推送至数据所在位置的方法，执行 分析功能，还是以大规模并行方式构建数据模型，都可以实现。Greenplum

降低风险 5 Geographical Distribution Real-Time Analytics Data Lake Data Warehouse Cloud HVR 连续数据集成技术 Migrations Disaster Recovery 6 扩展性—高性能架构 7 • 创建并装载目标表 • 用于实时复制的初始化 • 也可以单独使用 • 可以被定义为任务，定时调度执行 基于数据库事务日志的变化数据捕获 9 • 避免人为错误 • 在迁移结束前校验数据 • 支持异构 异构平台间数据校验域修复 10 内置监控与报警 • 实时监控HVR进程 • 自动告警 • 与第三方企业监控平台集成 • 丰富的统计报表 LDAP authenticated user; if that’s not configured just OS username Next and 中心。 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 14 Compare Products 需求：利用GP自建数据仓库面临的数据集成问题 ➢ 支持MySQL的全量以及增量备份 ➢ 支持Oracle的全量以及增量备份 ➢ 支持SQL Server的全量同步 ➢ 对于增量备份可以支持准实时的同步也可以支持延时同步 ➢ 同步软件不会对源库造成负载上升的问题

99% 都 可 以 在 Greenplum 上 使 用， 例 如 odbc、jdbc、oledb、perldbi、python psycopg2 等，所以 Greenplum 与第三方工具、BI 报表集成的时候非 常容易；对于 postgresql 的 contrib 中的一些常用模块 Greenplum 提 供了编译后的模块开箱即用，如：oraface、postgis、pgcrypt 等， 对于其它模块，用户可以自行将 对于其它模块，用户可以自行将 contrib 下的代码与 Greenplum 的 include 头文件编译后，将动态 so 库文件部署到所有节点就可进行测 试使用了。有些模块还是非常好用的，例如：oraface，基本上集成了 Oracle 常用的函数到 Greenplum 中，曾经在一次 PoC 测试中，用户 提供的 22 条 Oracle SQL 语句，不做任何改动就能运行在 Greenplum 上。

Segment节点检查及修复 ○ 自动执行gprecoverseg ○ 无需Segment Rebalance ● Node失效 ○ Node节点上Master/Segment节点自动修复 Kubernetes 生态集成 ● 日志收集 ○ Fluentd ● 监控及Metrics收集 ○ Prometheus ● 可视化 ○ Grafana ● …... 总结 Greenplum → Kubernetes

MPP、优化器、多态存储、灵活分区、高速加载、PG内核 • 强大的灵活性、可扩展：PL/X、Extension、PXF、外部表机制 • 完善的标准支持：SQL、JDBC、ODBC • 集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac