运而生。云原生 时代，越来越多的企业将应用向云上迁移，而越来越多的数据也流向云上。公有云带来了众多优势: 时可以申请/释放的计算资源 霹 无限的计算资源 亿-曾 无限的存信池 C 二 低价的对象存储 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 些优势使云原生数据库得以降低计算成本，提供无限丰富的计算资源，实现分钟级的伸缩性和真正的高可用，释放 ，主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4. 云原生平台节点: PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 从而避免了企业受制于供应商，帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容 pieCloudDB 采取存算分离的eMPP (弹性大规模并行计算) 设计架构。存储侧支持标准对象存储，可以充分利用云计 算平台的优势，让对象存情接近无限的容量，计算侧在设计上充分考虑无状态实现，计算节点可以充分利用云环境海 量的计算节点池，按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵向以及

动态弹性伸缩，提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能； 3. 存储节点： 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能； 4. 云原生管控平台节点： PieCloudDB 上运行，从而避免了企业受制于供应商，帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 eMPP（弹性大规模并行计算）设计架构。存储侧支持标准对象存储，可以充分利用云计 算平台的优势，让对象存储接近无限的容量，计算侧在设计上充分考虑无状态实现，计算节点可以充分利用云环境海 量的计算节点池，按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向 时，PieCloudDB 会自动快速发现并调度新的节点替代故障节点，同时也会在后台尝试修复故障节点，从而保证 PieCloudDB 服务的高可用性。 PieCloudDB 的存储引擎，支持对象存储、HDFS、NAS等分布式存储，数据的完整性、一致性和可靠性等由分布式存 储的多副本、EC以及灾备能力进行保障，将由于人为或自然原因导致的数据丢失概率降低到最低，保证单个硬件设备 的故障不会

l 所有服务器需要配置 yum，且能够连接 Internet。 l 部署方案有两种，请根据实际情况选择： Ø 本地无 K8S 环境和对象存储，请选择第二章节《PieCloudDB 和 K8S 一起部署方案》 Ø 本地有 K8S 环境和对象存储，请选择第三章节《PieCloudDB 基于已有 K8S 的部署方案》 2. PieCloudDB 和 K8S 一起部署方案 13 软件部署 在 master 节点，用 root 用户进入 deployment 目录，执行如下命令： 1. vi s3_config.yaml ###具体根据实际情况修改 s3 对象存储信息 2. s3: 3. access_key_id: minioadmin 4. endpoint: 10.24.23.18:9000 5. secret_access_key: 系统权限和数据库对象权限。 8. 如果需要添加自定义角色，可以点击 ，输入名称和权限等信息即可。 9. 例如，“tom” 可以添加一个自定义角色 “catmanager” ，添加时可以授予它某个已有角 色（usermanager）的所有权限。或者 “tom” 也可以在角色列表，点击 “catmanager” ，进入角色详情页面，灵活授予它相关的系统权限或数据库对象权限，自定 义授予的权限可以被收回。

完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口（WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源（横向和纵向）、极速调整 • 共享用户数据（典型如廉价对象存储） • 共享元数据 • MPP架构：分布式，海量数据并行处理 @2022 OpenPie. All rights reserved. OpenPie Confidential Postgres 用户数据存储 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 （数据共享，存算分离） • 兼容HDFS，NAS，本地磁盘 • 公有云，私有云，混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 （SIMD） • 现代存储技术 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 用户成本 （存储成本） • 自动选取适应类型的编码 • 压缩 • 减少对象存储的访问开销 • OLAP 性能 • 多级缓存 • 行列混合存储 • 定义内外存的数据格式 • 文件内统计信息 • 智能Analyze @2022 OpenPie. All rights

全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免⽹络延迟和数据移动，提⾼计算效率，保 证用户的实时性需求。PieCloudDB针对底层对象存储设计了 ⾼效的⽂件格式，可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能⾼效地⽣成统计信息，并⽣成更⾼ 效的查询计划，达奇优化器支持聚集下推，预计算，Block Catalog 计算节点 JANM Table Format 管控节点 安全审计 API接⼝ ETL功能 数据洞察 运维管控 用户权限 NAS⽂件存储 HDFS分布式⽂件系统 S3对象存储 其他Data Lake Bare-Metal IaaS资源 执⾏器 执⾏器 执⾏器 协调器 协调器 虚拟数仓1 执⾏器 协调器 虚拟数仓2 执⾏器 … 连接管理 查询优化器 资源隔离 千倍的性能提升。 达奇 PieCloudDB Optimizer Ø 基于eMPP架构的云原⽣分布式 优化器； Ø 为海量数据集上的复杂OLAP查 询提供最优的查询计划。 预计算 根据对象存储的特性，为每⼀个数据块预先计算好块内数据的聚集值。通过把聚集操作下推到对数据表 的扫描之上，可以直接利用数据块内预计算的结果，从⽽避免了⼤量的计算。 ⽂件裁剪 利用每个数据块内预计算的结果

友好的用户接口（websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源（横向纵向）、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据（如按需付费的对象存储） • 共享元数据 • MPP架构：分布式，海量数据并行处理 • e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres？ • 关于Postgres • Data Skipping (本地查询和远程读取） • 预聚集 • ...... 存储中⽴ • 公有云，私有云，混合云 • 对象存储 （数据共享，存算分离）按需付 费 • 也⽀持HDFS，NAS ⽤户数据可靠安全 • ⽤户数据⾼可靠实时加解密 (TDE) • 分布式对象存储多副本多可⽤区保证数据安全：“⼀份”数据， 避免数据不⼀致 • 将来Time Travel查询“回收站”数据 ⽤户数据查询效率优化

@2022 OpenPie. All rights reserved. OpenPie Confidential • 公有云无限的计算池可以提供理想的弹性计算资源 • 公有云廉价且无限容量的对象存储 • 传统数仓缺乏弹性和存算分离，难以利用公有云的优势 以关系型数据库为基础的数据仓库很难适应云环境 @2022 OpenPie. All rights reserved. OpenPie 只有在vacuum和branch操作时需要访问引用计数 @2022 OpenPie. All rights reserved. OpenPie Confidential • 数据的载体对象存储作为整个云的基 础设施，每个用户都可以访问 • OStore的辅助表包含访问对象存储中 数据的所有信息 • 辅助表的数据量仅为主表大小的百万 分之一 • 不同的用户间可以通过分享辅助表的 方式实现表共享 @2022 OpenPie

全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免网络延迟和数据移动，提高计算效率，保 证用户的实时性需求。PieCloudDB 针对底层对象存储设计了 高效的文件格式，可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 可以更智能高效地生成统计信息，并生成更高 效的查询计划，达奇优化器支持聚集下推，预计算，Block 事务管理器支持对各类基础设施故障进行自动容错 IvorySQL开源数据库社区 03 用户数据存储 IvorySQL开源数据库社区 构建新一代云原生存储引擎 • Multi-Could 云上设施 o 对象存储 （数据共享，存算分离） o 兼容 HDFS，NAS，本地磁盘 o 公有云，私有云，混合云 • 现代的硬件 o CPU/GPU 高速缓存访问 o 数据的局部性优化（SIMD） o 现代存储技术 扩缩容最少的数据移动 • 数据安全性 o 透明数据加密 o 三级密钥 o 实时加解密 构建新一代云原生存储引擎 IvorySQL开源数据库社区 全链路优化 • 全新的存储引擎简墨（JANM） ⚬ 基于对象存储的行列混存架构 ⚬ 压缩比更好 ⚬ Cache 命中率更高 ⚬ 降低 CPU 使用率 IvorySQL开源数据库社区 04 优化器 IvorySQL开源数据库社区 PieCloudDB

全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免⽹络延迟和数据移动，提⾼计算效率，保 证⽤户的实时性需求。PieCloudDB针对底层对象存储设计了 高效的文件格式，可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能⾼效地⽣成统计信息，并⽣成更⾼ 效的查询计划，达奇优化器支持聚集下推，预计算，Block 用户数据存储 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 （数据共享，存算分离） • 兼容HDFS，NAS，本地磁盘 • 公有云，私有云，混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 （SIMD） • 现代存储技术 三级密钥 • 实时加解密 @2022 OpenPie. All rights reserved. OpenPie Confidential 全链路优化 • 全新的存储引擎简墨（JANM） • 基于对象存储的行列混存架构 • 压缩比更好 • Cache命中率更高 • 降低CPU使用率 @2022 OpenPie. All rights reserved. OpenPie Confidential

(Load) 文件拷贝 CDC模式 流式传输 ETL本质是不同系统 （数据组织形式）之 间的数据移动 ETL • 便宜可扩展的对象存储，各系统通用 • 最好的 ETL 就是不需要 ETL，各系统共享同一份底层数据 • PieCloudDB 支持直接读取对象存储上的 parquet 等格式的文件 • 为不同类型的查询特化的系统会有不同的存储方式 • 同一份底层原始数据使用不同系统查询会产生