reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 赋能⼯业软件创新与实践 吴疆 拓数派产品社区总监 CONTENTS @2024 OpenPie. All rights reserved. OpenPie Confidential 杭州拓数派科技发展有限公司 使命：数据计算，只为新发现 愿景：成为立⾜中国基础数据计算领域的全球顶级⾼科技创新机构 价值观：以⼈为本、开放创新、拥抱变化、诚信正直 拓数派中国总部与全球分支机构 海 外 研 发 中 ⼼ 北京研发中⼼ 杭 州 总 部 上海全球品牌战略与⽣态发展中⼼ ⼴州研发中⼼ @2024 OpenPie. All rights reserved. OpenPie Confidential 国际顶级创始团队 18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜（Brian Lu） 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 • 原Greenplum中国社区发起⼈ • Greenplum社区从0到万 冯 雷（Ray Von） 创 始 ⼈ & C E O • 浙江物理奥赛银牌得主 • 北京⼤学物理经济学双学位

油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 Annual Size of the Global Datasphere zetabytes 击需视各2nk 2n 2n6 201 2018 20192070 20717022 2973 2024 2025 1DC:全球数据圈预测 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 为使命，旗下云原生虚拟数仓 PieCloudDB，运用全新 eMPP (elastic Massive Parallel Processing) 分布式技术，旨在为企业提供包含实时处理、 移级扩缩容、弹性计算、集成数据分析等强大功能的云上数据存储和计算引擎，助力企业实现数据价值最大化。 pieCloudDB 为企业构建坚如般石的虚拟数仓，以云资源最优化配置实现无限数据计算可能，基于新一代数仓虚拟 化，提供云 ，是以对行业顶级数据库的抽象思考和设计原则复用为技术路线，采用领先的数仓 虚拟化技术，可将多个数仓统一整合到一个高可用的云虚拟数仓，打通多云的数据管道，数据计算资源按需扩缩容， 提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级增加可计算数据空间的同时，数量级降低数仓 成本，打开无限数据计算空间，推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless

Pivotal，VMWare参与多个云平台和数据库项目 01 拓数派简介 πDataCS简介 02 πDataCS与龙晰 03 01. 拓数派简介 海 外 研 发 中 心 北 京 研 发 中 心 杭 州 总 部 上海全球品牌战略与生态发展中心 广 州 研 发 中 心 拓数派中国总部与全球分支机构 杭州拓数派科技发展有限公司（又称"OpenPie"）是立足于国内,基础数据计算领域的高科技创新机构。 ，致力于在数字原生时代,运用突破性计算理论、 独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准, 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 来自本土的 全球创新热点。凭此再度荣登数字商业周刊“年度智造中国商业领袖”。（《数字商业时代》报道） 拓数派创始人、董事长兼首席执行官；原Pivotal/Greenplum(中国)创始人 • 与核心团队在PaaS云第一股Pivotal（PVTL）的成功基础上，在腾讯投资天使轮投资支持下成立 拓数派，打造了国内科技领域屈指可数的Day-1准独角兽企业。(36氪首发报道) • 由于拓数派在云

reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 拓 数 派 • 成立于2021年，以“Data S3/HDFS/Posix. • 架构：Share Nothing on share storage. • 丰富的外围产品支持. • 将来会支持单机和HTAP. Postgres生态 软件交付版本 （最新版本：v2.11） • 社区版 • 企业版 • CoC（云上云）版 @2024 OpenPie. All rights reserved. OpenPie Confidential

2025年增长值175ZB，而中国的数据圈有望于2025年爆炸式增长为世界第一 。数据被称为数字经济时代的“石 油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算（Data Computing）的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样，企业的数字 提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能； 2. 计算节点： 无状态节点（包括 Coordinator 和 Executer），主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能； 3. 存储节点： 数仓整合 到云原生数据计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据 和计算。在云上，数据计算资源按需扩缩容，提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级 增加可计算数据空间的同时，数量级降低数仓成本，打开无限数据计算空间，推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式专利技术、服务器无感知（Serverle

ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03 等格式的文件 • 为不同类型的查询特化的系统会有不同的存储方式 • 同一份底层原始数据使用不同系统查询会产生 ETL 需求 • 多种数据源 • 多种数据格式 • 通用的数据处理/转换 • 唯一性与事务性保证 • 断点续传 • 错误处理 • 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果，记录进度和错误信息 • INSERT/MERGE 模式 • INSERT 模式，支持单纯导入场景 • 与现有数据没有逻辑关联的时序数据流 • INSERT 模式，步骤1 Ø PieCloudDB Foreign Table，postgres扩展，需要为数据源单独开发 Ø 控制节点上读取数据源信息，决定是否拆分，生成任务信息

pyH� un lytlcD r.p ur re 。 Rock.s 2014 2018 2022 云原⽣数据库 PieCloudDB eMPP架构设计与实现 郭罡 拓数派CTO 关于拓数派（OpenPie） • 成⽴于2021年，以“Data Computing for New Discoveries”「数据计算， 只为新发现」为使命。 • 用户专注于使用，其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平 台 多租户隔离 • 存储资源和计算资源：分离和隔离 • 资源伸缩快速简单 • 计算、存储：按需付费 • 智能管理，复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别：RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口（websql, Postgres对存储扩展，插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件） • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码，在社区参与诸多贡献 PieCloudDB 架构 元数据管理 基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引

大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 搜索距离相近数据 • 将这些辅助数据与用户输入同时输入给大模型之后输出 向量数据库 • embedding通过大模型将各种形式的数据转换成向量 向量数据库 • 两个向量可以计算它们的距离（欧式，余弦/内积， 曼哈顿等），距离越近，表示这两个物体越相似 • 向量搜索的基本问题：K-Nearest Neighbor • 在已有的N个向量中找出与给定向量距离最近的K个向量 Query

offload）等. • 2年：分布式系统（存储和缓存）开发、云计算平台架构. • 7年+：数据库内核开发 (HAWQ、PG、Greenplum、PieCloudDb). • 现在负责拓数派的整个研发管理. • 毕业于中国科学技术⼤学（专业语⾳识别）. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 • ⼀款云原⽣分布式虚拟数仓 • Data: Shared Storage (S3/HDFS/NAS) • Meta: Shared on NoSQL (当前是FoundationDB） • Postgres⽣态 • 软件交付版本 • 社区版 (免费获取) • 企业版 • CoC（云上云）版（免费试⽤） @2022 OpenPie. All rights reserved. OpenPie Confidential reserved. OpenPie Confidential PieCloudDB简介 (cont.) • PieCloudDB有个很优秀的智能云原⽣平台 • ⾯向⽤⼾ • ⾯向运维 • ⾯向管理 • ⽣态相关产品也很丰富 • 但今天会焦距数据库内核 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 (内核Only)

当天即获得腾讯投资天使轮投资 成为 Day-1 准独角兽 7月 与中国人民大学成立实习基地，打造 中国的云原生数据库世界级智力高地 11月 4月 获得元禾重元和东吴证券 Pre-A 轮投资 标志着企业进入快速成长期 拓数派 正式成立 成立杭州总部、北京研发中心、 上海全球品牌战略与生态发展中心 12月 获得腾讯投资第二轮持续加注投资 得到众多知名投资机构的关注和认可 蓬 勃 发 支持政策获批 6月 成立加拿大研发中心 7月 PieCloudDB 云原生数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的 eMPP 云原生数仓 3月 2023拓数派战略暨新产品发布会 PieCloudDB 简介 IvorySQL开源数据库社区 数据 计算 发现 数据：云上数据既是隔离也是连通。从安全的角度是隔离，同时具 备数据共享的能力。 例如：投资管理系统和财务管理系统可以各自管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使用时间和规模计算成本，而不是购买大量服务器静置为不确定 的使用额外支付成本。 发现：在云上，