运而生。云原生 时代，越来越多的企业将应用向云上迁移，而越来越多的数据也流向云上。公有云带来了众多优势: 时可以申请/释放的计算资源 霹 无限的计算资源 亿-曾 无限的存信池 C 二 低价的对象存储 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 些优势使云原生数据库得以降低计算成本，提供无限丰富的计算资源，实现分钟级的伸缩性和真正的高可用，释放 ，主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4. 云原生平台节点: PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 从而避免了企业受制于供应商，帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容 pieCloudDB 采取存算分离的eMPP (弹性大规模并行计算) 设计架构。存储侧支持标准对象存储，可以充分利用云计 算平台的优势，让对象存情接近无限的容量，计算侧在设计上充分考虑无状态实现，计算节点可以充分利用云环境海 量的计算节点池，按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵向以及

仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题， 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎 数据计算。主要解决海量数据的存储和实时计算问题，具备湖仓⼀体化的能⼒， 用户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少⽽精（All in One），提供3种计算引擎、1种 Lakehouse引擎，1个硬件加速器，应对各种场景的计算，同时也兼容Spark、 Flink等计算任务，保留用户的使用习惯。 场景的数 据处理，业务开发周期短，现存的代码基本可以⽆缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能⼒。组件少，提供可 视化管理平台，运维管理简单，通过短暂学习即可掌握，⽆论是原厂商还是⽣ 态合作伙伴都可以直接提供技术服务，7 * 24的安⼼保障。 @2024 OpenPie. All rights

动态弹性伸缩，提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能； 3. 存储节点： 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能； 4. 云原生管控平台节点： PieCloudDB 上运行，从而避免了企业受制于供应商，帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 eMPP（弹性大规模并行计算）设计架构。存储侧支持标准对象存储，可以充分利用云计 算平台的优势，让对象存储接近无限的容量，计算侧在设计上充分考虑无状态实现，计算节点可以充分利用云环境海 量的计算节点池，按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向 时，PieCloudDB 会自动快速发现并调度新的节点替代故障节点，同时也会在后台尝试修复故障节点，从而保证 PieCloudDB 服务的高可用性。 PieCloudDB 的存储引擎，支持对象存储、HDFS、NAS等分布式存储，数据的完整性、一致性和可靠性等由分布式存 储的多副本、EC以及灾备能力进行保障，将由于人为或自然原因导致的数据丢失概率降低到最低，保证单个硬件设备 的故障不会

高 质 量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统⼀运维降低成本 服务器资源池可⽤空间增⼤ 数据资源池可⽤空间增⼤ 虚拟机动态迁移对硬件⽆感知 数仓整合，降低服务器硬件或者虚拟机成本 数据计算平台统⼀ 运维降低成本 虚拟数仓数仓⾼在线 虚拟数仓动态spinoff/retire对计算资源⽆感知 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（Serverless）利⽤云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可⽤，S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 运用元数据-计算-数据分离的三层架构，实现云上存储资源与 计算资源的独⽴管理。云上计算资源可弹性分配，有查询计 算任务的时候按需启动，按照使⽤时间和规模计算成本。 eMPP分布式专利技术 在云上，PieCloudDB利⽤eMPP（elastic Massive Parallel Processing）架构，实现多集群并发执行任务。企业可灵活 进⾏扩缩容，随着负载的变化实现⾼效的伸缩，轻松应对 PB级海量数据。

ChinaUrnx ，千UB A 2022 2022/12/14-16 2OlO OynamoDB CirroD 叩i Hubble B ． SinoOB Ste 云树Sh可d :．． G.IIX卢罩＂ abr ::::· … .• e …. pyH� un lytlcD r.p ur re 。 Rock.s 2014 2018 友好的用户接口（websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源（横向纵向）、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据（如按需付费的对象存储） • 共享元数据 • MPP架构：分布式，海量数据并行处理 • e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres？ • 关于Postgres • 元数据管理 • 临时状态存储（如lock等) 也放在FoundationDB • 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群（虚拟数仓）可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟）

运用元数据-计算-数据分离的三层架构，实现云上存储资源 与计算资源的独立管理。云上计算资源可弹性分配，有查询 计算任务的时候按需启动，按照使用时间和规模计算成本。 eMPP 分布式专利技术 在云上，PieCloudDB 利用 eMPP（elastic Massive Parallel Processing）架构，实现多集群并发执行任务。企 业可灵活进行扩缩容，随着负载的变化实现高效的伸缩， 轻松应对 PB 级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免网络延迟和数据移动，提高计算效率，保 证用户的实时性需求。PieCloudDB 针对底层对象存储设计了 高效的文件格式，可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 可以更智能高效地生成统计信息，并生成更高 效的查询计划，达奇优化器支持聚集下推，预计算，Block 支持两种隔离级别：读已提交、可重复读 • 扩展性 事务管理器无单点性能瓶颈 • 隔离性 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 事务管理器支持对各类基础设施故障进行自动容错 IvorySQL开源数据库社区 03 用户数据存储 IvorySQL开源数据库社区 构建新一代云原生存储引擎 • Multi-Could 云上设施 o 对象存储 （数据共享，存算分离）

完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口（WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源（横向和纵向）、极速调整 • 共享用户数据（典型如廉价对象存储） • 共享元数据 • MPP架构：分布式，海量数据并行处理 @2022 OpenPie. All rights reserved. OpenPie Confidential Postgres 享，避免拷贝和维护多份数据副本 存储 @2022 OpenPie. All rights reserved. OpenPie Confidential • ACID - 支持两种隔离级别：读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 事务 用户数据存储 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 （数据共享，存算分离） • 兼容HDFS，NAS，本地磁盘 • 公有云，私有云，混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 （SIMD） • 现代存储技术

拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为AI的基础科技底座的同时，开启AI技术的新范式。 πDataCS旨在助力企业优化计算瓶颈、充分利用和发挥数据规模优势，构建核心技术壁垒，让大模 型技术全 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 式程序，以一种可靠、高效、可伸缩的方式进行数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需 大模型数据计算系统，以云原生技术重构数据存储和计算，一份数据，多引擎数 据计算。主要解决海量数据的存储和实时计算问题，具备湖仓一体化的能力，用 户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少而精（All in One），提供3种计算引擎、1种 Lakehouse引擎，1个硬件加速器，应对各种场景的计算，同时也兼容Spark、 Flink等计算任务，保留用户的使用习惯。

(Load) 文件拷贝 CDC模式 流式传输 ETL本质是不同系统 （数据组织形式）之 间的数据移动 ETL • 便宜可扩展的对象存储，各系统通用 • 最好的 ETL 就是不需要 ETL，各系统共享同一份底层数据 • PieCloudDB 支持直接读取对象存储上的 parquet 等格式的文件 • 为不同类型的查询特化的系统会有不同的存储方式 • 同一份底层原始数据使用不同系统查询会产生

目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 能和产品创新迭代， 超过3000余家企业续约学习，是科技领域占有率第1的客座导师品牌，msup以 整合全球领先经验实践为己任，为中国产业快速发展提供智库。 高可用架构主要关注互联网架构及高可用、可扩展及高性能领域的知识传播。 订阅用户覆盖主流互联网及软件领域系统架构技术从业人员。 高可用架构系列 社群是一个社区组织，其精神是“分享+交流”，提倡社区的人人参与，同时从社 区获得高质量的内容。