PieCloudDB：云原⽣分布式 虚拟数仓的过去、现在和未来 郭罡 拓数派 @2022 OpenPie. All rights reserved. OpenPie Confidential 关于我 • 18年+基础软件⼀线经验 • 9年：Unix/Linux应⽤和内核开发、虚拟化（芯⽚KVM内核⽀持）、⾼速 ⽹络开发（NIC驱动、IB、DPDK、OVS offload）等. • 2年：分布式系统（存储和缓存）开发、云计算平台架构 毕业于中国科学技术⼤学（专业语⾳识别）. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 • ⼀款云原⽣分布式虚拟数仓 • Data: Shared Storage (S3/HDFS/NAS) • Meta: Shared on NoSQL (当前是FoundationDB） • Postgres⽣态 • @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 (内核Only) • 第⼀步单机Postgres版本上实现存算分离 • 第⼆步分布式化 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 数据存储设计考虑 • S3访问友好（各种统计数据⽤于data

具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据，多引擎计算」 弹 性 扩 缩 据 结 合 开 发 垂 直 应 用 • CMU战略合作⼤模型基础理论，训练合作⼀事⼀议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题， 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库

计算机和经济学，获得物理经济学双学位。（北大报道）研究生就读卡内基梅隆大学。(InfoQ报道) • 归国前就职于美国Oracle公司数据库服务器技术部门，是Oracle Cloud Control的分布式调动引擎的 主要贡献者之一。 • 因为参与Pivotal的拆分创建、C轮融资和IPO成功，以及主导的Greenplum产品在全球范围的开源影 响力，被《数字商业周刊》选为2019年度封面人物。（《数商周刊》报道） 结 合 开 发 垂 直 应 用 • CMU战略合作大模型基础理论，训练合作一事一议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (大模型)机器学习 向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） 特定领域（如神经网络） 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 式程序，以一种可靠、高效、可伸缩的方式进行数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是

很多受欢迎的数据库仓库均为分布式数据库，而典型 分布式数据库系统大多是 MPP (大规模并行计算) 架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1 录。数据计算时，所有机器同时并行计算，理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ，节省了海量数据的处理时间。 对于传统 MPP 数仓，企业往往会需要配备运维人力，且对运维、开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迁代迅速，相关人员需保持积极的知识更新意识。根关人才市场较小，人才芽乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 云时代的数据处理要求 随着数据量和计算能力的爆发式增长，云计算技术的迅猛发展，云原生架构愈受欢迎，云原生时代应运而生。云原生 时 Discoveries ” 数据计算，只为新发现」 为使命，旗下云原生虚拟数仓 PieCloudDB，运用全新 eMPP (elastic Massive Parallel Processing) 分布式技术，旨在为企业提供包含实时处理、 移级扩缩容、弹性计算、集成数据分析等强大功能的云上数据存储和计算引擎，助力企业实现数据价值最大化。 pieCloudDB 为企业构建坚如般石的虚拟数仓，以云资源

很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时，所有机器同时并行计算，理论上最高可以 把计算时间降低到单机部署的 1/n（n为机器数量），节省了海量数据的处理时间。 对于传统 MPP 数仓，企业往往会需要配备运维人力，且对运维、开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迭代迅速，相关人员需保持积极的知识更新意识。相关人才市场较小，人才匮乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 5 云时代的数据处理要求 随着数据量和计算能力的爆发式增长，云计算技术的迅猛发展，云原生架构愈受欢迎，云原生时代应运而生。云原生 Discoveries ”「数据计算，只为新发现」为使命，旗下云原生虚拟数仓 PieCloudDB，运用全新 eMPP（elastic Massive Parallel Processing） 分布式技术，可将物理数仓整合到云原生数据 计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据和计算。 PieCloudDB 为企业构建「坚如磐石」的虚拟数仓，以

发现」为使命，成立后的短短10个月时间内，完成了包括头部 产业基金、东吴证券、元禾重元和政府科创平台在内的连续三 轮战略融资。 旗下云原生分析型数据库 PieCloudDB，以云计算架构为设 计基础，首创全新 eMPP 分布式技术，帮助企业建立竞争壁垒 的同时，实现数据价值最大化，并在新基建中承担可靠和可控 的世界级云数据库底座。 IvorySQL开源数据库社区 2021 2022 当天即获得腾讯投资天使轮投资 成为 02 PieCloudDB 的架构特点 03 总结 04 IvorySQL开源数据库社区 PART 01 数据库的云原生远景 IvorySQL开源数据库社区 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的 IaaS，解耦 计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式 MPP 架构痛点 IvorySQL开源数据库社区 PART 02 云原生数据库 PieCloudDB 简介 IvorySQL开源数据库社区 数据 计算 发现 数据：云上数据既是隔离也是连通。从安全的角度是隔离，同时具

成立后的短短10个月时间内，完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库PieCloudDB，以云计算架构为设计基础，首创 全新eMPP分布式技术，帮助企业建立竞争壁垒的同时，实现数据价值最 大化，并在新基建中承担可靠和可控的世界级云数据库底座。 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 @2022 OpenPie pieclouddb.com CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved. OpenPie Confidential 数据 计算 发现 数据：云上数据既是隔离也是连通。从安全的⾓度是隔离，同时具

为使命. • 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发 和产业经验. • 产品 πDataCS：多计算引擎，包括自研分布式数据库PieCloudDB，自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地：IoT、金融、新能源、医疗等行业. @2024 OpenPie. All “一份数据，多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 • 元数据、用户数据、计算完全分离. • 用户数据（code name: Janm）支持 S3/HDFS/Posix. • 架构：Share Nothing on share rights reserved. OpenPie Confidential 多计算引擎 内置计算引擎 Postgres执行器 全新的向量化执行引 擎 向量数据库 单机和分布式 Spark 客户依赖 跑批任务 机器学习 …… ... 按需增加 @2024 OpenPie. All rights reserved. OpenPie Confidential 产品子功能 太多分支？

化（芯⽚KVM⽀持实现）和云计算架 构、⾼速⺴络开发（内核和应⽤层如DPDK） • 分布式系统（SQL/NoSQL/存储) • 最近 7+ 年⼀直从事开源分布式数据库开发 一个eMPP 云原生分布式SQL数据库 一个云原生实时大数据平台基座 愿景：安全可靠 使用简单 功能齐全 性能极致 传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 木桶效应 扩缩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 我们需要一个云原生数据库 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据库软件上云已是大势所趋 用户专注于使用，其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平 ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源（横向纵向）、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据（如按需付费的对象存储） • 共享元数据 • MPP架构：分布式，海量数据并行处理 • e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres？ • 关于Postgres • 公司中⽴，开源协议友好，国际⼀流⼯程⽔准的先进开源数据库

从向量搜索及索引算法实现出发，为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发，为其开发向量搜索及索引算法 PieCloudVector • 基于postgres打造的数据库内核 • 单机或分布式部署 • 支持完整的ACID • SQL进行向量搜索 • 支持向量标量混合查询 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法，如ivf和hnsw等 GraphRAG 欢迎关注我们！ 麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构，携手2000余位 中外客座导师，服务于技术团队的能力提升、软件工程效能和产品创新迭代， 超过3000余家企业续约学习，是科技领域占有率第1的客座导师品牌，msup以 整合全球领先经验实践为己任，为中国产业快速发展提供智库。 高可用架构主要关注互联网架构及高可用、可扩展及高性能领域的知识传播。 订阅用户覆盖主