原生虚拟数仓 PieCloudDB，运用全新 eMPP（elastic Massive Parallel Processing） 分布式技术，可将物理数仓整合到云原生数据 计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据和计算。 PieCloudDB 为企业构建「坚如磐石」的虚拟数仓，以云资源最优化配置实现无限数据计算可能，基于新一代数仓虚 拟化， 用以 及用户权限等功能； 2. 计算节点： 无状态节点（包括 Coordinator 和 Executer），主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能； 3. 存储节点： 存算分离架构，支持本地存储和云存储， 数据分析和人工智能、数据科学等功能。 PieCloudDB 产品概述 拓数派旗下旗舰产品PieCloudDB，是以对行业顶级数据库的抽象思考和设计原则复用为技术路线，可将物理数仓整合 到云原生数据计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据 和计算。在云上，数据计算资源按需扩缩容，提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级 增加可计算数据空间的同时

提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ，主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 能够根据业务需求进行横向、纵向以及集群级别的弹性伸缩。用户可以灵活考虑业务和数据量的变化,， 动态油整 pieCloudDB 集群中计算节点的数量和虚拟数仓的数量，用最适合的资源量来满足其业务需求。 ，。 高可用能力 pieCloudDB 实现了元数据、计算、存储等三层架构，计算节点不存储用户数据，是无状态的。当计算节点发生故障 时，PieCloudDB 会自动快速发现并调度新的节点蔡代故障节点，同时也会在后台尝试修复故障节点，从而保证 Processing，弹性大规模并行处理; *。 虚拟数仓: Virtual Data Warehouse，在数据仓库基础之上抽象出来的一种资源调度方法，它可以整合多个数 仓的资源; 。 云原生: 《loud Native，云原生技术使组织能够在新式动态环境 (如公有云、私有云和混合云) 中构建和运行 可缩放的应用程序，能够充分适配和发挥云计算的优势能力; 。 TDE: Transparent

reserved. OpenPie Confidential P i e C l o u d D B 云 原 ⽣ 虚 拟 数 仓 核 ⼼ 价 值 物理数仓整合到云原⽣数据计算平台，根据数据授 权动态创建虚拟数仓，打破数据孤岛，解决数据多 副本问题，帮助企业降低数仓管理复杂度，以更低 的成本实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（S 可视化管控： Ø 监控告警 Ø 自定义和动态服务启停 Ø 备份恢复 Ø ETL和数据导出 Ø 数据洞察 Ø 细粒度权限管控，与LDAP⽆缝集成 Ø Rest API @2024 OpenPie. All rights reserved. OpenPie Confidential 国内首创虚拟数仓技术 物理数仓整合到云原⽣数据计算平台，根据数据授权 动态创建虚拟数仓，打破数据孤岛，解决数据多副本 @2024 OpenPie. All rights reserved. OpenPie Confidential 云原⽣分布式优化器--达奇 多表连接的最优 顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归 CTE的优化 其他相关优化 聚集下推 通过把聚集操作下推到连接操作之前去执⾏，极⼤的减少连接操作需要处理的数据量，使得查询性能显 著提升。

多种数据源 • 多种数据格式 • 通用的数据处理/转换 • 唯一性与事务性保证 • 断点续传 • 错误处理 • 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行，通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送

OpenPie Confidential PieCloudDB内核的下⼀步 • ⽤⼾数据存储 • 依赖计算需求优先级提供更多功能（dict page? Bloom filter?等等). • 分布式缓存和调度. • 等等. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB内核的下⼀步 • 优化器 • 功能更全、OLAP更友好、更加贴近云原⽣需求 功能更全、OLAP更友好、更加贴近云原⽣需求. • 计算引擎 • V1（正在开发中）: SIMD执⾏器和各种计算优化. 甚⾄依赖于云成本. • V2: Pipeline引擎. • V3: 计算引擎资源调度隔离 - 类似⼀个计算操作系统.

n 支持获取 Kafka FDW 统计数据。 n Kafka FDW 支持 JSON 格式。 l 执行计划信息 支持在 EXPLAIN ANALYZE VERBOSE 执行结果中显示调度相关状态信息。 4 l 用户定义函数 UDF n 新增 janm_page_size_read，用以获取 Page 大小。 n 新增 janm_block_file_size_read，用以获取

materialization • Pipeline Engine、etc • 和JANM结合有大量可能的性能创新点. • 长远目标： • 赋能其他产品. • 赋能更多的计算形态. • 云上计算调度. @2024 OpenPie. All rights reserved. OpenPie Confidential 计算外延 • 仓湖一体：仓衍生支持开源表格式 • 先读，Iceberg on

到 来 服务器整合,降低服务器硬件成本 云计算平台统一运维降低成本 服务器资源池可用空间增大 数据资源池可用空间增大 虚拟机动态迁移对硬件无感知 数仓整合，降低服务器硬件或者虚拟机成本 数据计算平台统一 运维降低成本 虚拟数仓数仓高在线 虚拟数仓动态 spinoff/retire 对计算资源无感知 虚拟机高在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 IvorySQL开源数据库社区 处理复杂 OLAP 查询 • 云原生优化器 PieCloudDB 优化器「达奇」 IvorySQL开源数据库社区 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 IvorySQL开源数据库社区 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性，提供更多高阶的优化 IvorySQL开源数据库社区

到 来 服务器整合,降低服务器硬件成本 云计算平台统⼀运维降低成本 服务器资源池可⽤空间增⼤ 数据资源池可⽤空间增⼤ 虚拟机动态迁移对硬件⽆感知 数仓整合，降低服务器硬件或者虚拟机成本 数据计算平台统⼀ 运维降低成本 虚拟数仓数仓⾼在线 虚拟数仓动态spinoff/retire对计算资源⽆感知 虚拟机⾼在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 @2022 @2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生优化器

避免各种异常情况下数据残留。 • 简墨（JANM）分布式处理增强：更高效的元数据采集和分发，提升用户查询响 应时间，降低系统负载 • 简墨（JANM）动态分配读取文件增强 dispatch 性能：此优化将动态的分配要 读取的文件给各个执行节点，降低查询的启动代价。 • 原生格式存储：在 HDFS/NAS 系统上支持原生存储格式。 • 对 Orca