理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 资源的弹性能⼒。组件太多，导致集群部署和后期运维管理很麻烦，市场上相 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运 维和开发为主。 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎 数据计算。主要解决海量数据的存储和实时计算问题，具备湖仓⼀体化的能⼒， 用户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少⽽精（All 据处理，业务开发周期短，现存的代码基本可以⽆缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能⼒。组件少，提供可 视化管理平台，运维管理简单，通过短暂学习即可掌握，⽆论是原厂商还是⽣ 态合作伙伴都可以直接提供技术服务，7 * 24的安⼼保障。 @2024 OpenPie. All rights

理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 生态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好的 完成各种业务场景的数据处理需求。但是对于开发的要求比较高，需要掌握多种 组件的不同使用方法，业务开发周期会比较久。 源的弹性能力。组件太多，导致集群部署和后期运维管理很麻烦，市场上相关人 才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开 发为主。 大模型数据计算系统，以云原生技术重构数据存储和计算，一份数据，多引擎数 据计算。主要解决海量数据的存储和实时计算问题，具备湖仓一体化的能力，用 户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少而精（All 据 处理，业务开发周期短，现存的代码基本可以无缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能力。组件少，提供可视 化管理平台，运维管理简单，通过短暂学习即可掌握，无论是原厂商还是生态合 作伙伴都可以直接提供技术服务，7 * 24的安心保障。 πDataCS 优势1 ：全面升级Hadoop大数

• 分区加密 技术挑战（2） • 和数据库存储结合 • 不影响数据库内核（执行器，优化器） • 不修改/添加元数据表格式 • 业务拟合 • 不影响原有用户的查询\业务 • 不影响外围组件（ETL） PART 03 透明加密的实现 密钥管理 • 主密钥由用户提供 • 保存于用户信任域中 • 无需加解密主密钥 • 多级密钥 • 单密钥加密数据为数据页 • 轮换上级密钥无需重新加解密数据 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 加密模块 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥

MPP弹性计算引擎：按需付费 • 租户隔离（彼此不影响） • ⾼可⽤（⾃动处理各种错误） • ⾼并发 PieCloudDB⽣态 • 各种外表数据源联邦查询组件天然⽀持（或者需少量修改） • 各种Postgres/Greenplum组件或者功能天然⽀持，如In- database AI组件Madlib, json, text等 • 实时ETL/ELT性能对⽐PieCloudDB 1.0有巨⼤提升 • 流处理：原⽣⽀持kafka数据导⼊和查询

NoSQL和数据湖很难胜任数据分析的工作场景 @2022 OpenPie. All rights reserved. OpenPie Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署，多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持，需要专门的技术技能 • 专用引擎/工具（例如图形数据库）通常难以与记录系统集成，限制 了分析和创新的操作化 NoS

安全性上支持端到端的访问控制管理 和证书管理。 * 完善的数据生态 PieCloudDB 兼容 PostgreSQL/Greenplum 生态组件，兼容大部分现有的 PostgreSQL/Greenplum 客户端，商务智能 {BI) 和 ETL组件。并且，PieCloudDB 正在加速构建更加完善的数据生态体系，通过创建生态工具、建立合作伙伴生 态网络、打造活跃的技术和用户社区等举措，为用户带来更便捷的使用体验。

提供的可视化平台，帮助企业更方便地梳理维护角色授权。安全性上支持端到端的访问控制管理 和证书管理。 PieCloudDB 兼容 PostgreSQL/Greenplum 生态组件，兼容大部分现有的 PostgreSQL/Greenplum 客户端，商务智能 （BI）和 ETL 组件。并且，PieCloudDB 正在加速构建更加完善的数据生态体系，通过创建生态工具、建立合作伙伴生 态网络、打造活跃的技术和用户社区等举措，为用户带来更便捷的使用体验。

抽象的⽂件协议接⼝ • 抽象的⽂件格式接⼝ • 抽象的计算功能接⼝（e.g. data skipping） • 抽象的元数据存储接⼝ • …… 抽象和灵活的考虑贯穿所有的设计. Apache Arrow作为不少组件内存中间桥梁. @2024 OpenPie. All rights reserved. OpenPie Confidential Postgres 执行计算引擎 向量化执行引擎 FALLBACK

ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03

pie6 10.24.31.156 备注： l 基于 K8S 环境搭建 PieCloudDB 集群。 l 推荐服务器资源不低于 8C/16GB/300GB。 l 一些镜像和组件默认在根目录下，所以操作系统的根目录要求不小于 150GB。 l 所有服务器需要配置 yum，且能够连接 Internet。 l 部署方案有两种，请根据实际情况选择： Ø 本地无 K8S