@2022 OpenPie. All rights reserved. OpenPie Confidential 成⻓之路 (cont.) • 功能变强或者补全 • 海量数据修改增强. • 初步备份功能. • Vacuum增强. • 统计数据⾃动收集更新. • Spill to S3⽀持 • 临时表完全⽀持. • 各种异常处理增强. • …... • 稳定性. @2022 OpenPie.

也放在FoundationDB • 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群（虚拟数仓）可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟） • 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于

保证元数据存取的效率和高可用性。PieCloudDB 元 数据采用分布式 KV 存储管理，具有完备的高可用方案。在 PieCloudDB 中，每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 ， 高性能的数仓引擎 PieCloudDB 采用高效并行的方式进行数据加载和处理，处理速度随节点增加而提升，支持流数据快速加载。 PieCloudDB

Service）保证元数据存取的效率和高可用性。 PieCloudDB 元 数据采用分布式 KV 存储管理，具有完备的高可用方案。在 PieCloudDB 中，每份元数据都将以多副本的形式分散到多 个服务节点，并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 PieCloudDB 采用高效并行的方式进行数据加载和处理，处理速度随节点增加而提升，支持流数据快速加载。 PieCloudDB 的 eMPP（弹

向量化执⾏器（SIMD）和JIT Ø HTAP，弹性扩缩容 Ø eMPP专利，弹性⼤规模并⾏计算 Ø 分布式优化器 Ø 存算分离架构 可视化管控： Ø 监控告警 Ø 自定义和动态服务启停 Ø 备份恢复 Ø ETL和数据导出 Ø 数据洞察 Ø 细粒度权限管控，与LDAP⽆缝集成 Ø Rest API @2024 OpenPie. All rights reserved. OpenPie

ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03

是文本类数据 下一步展望 • GraphRAG 欢迎关注我们！ 麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构，携手2000余位 中外客座导师，服务于技术团队的能力提升、软件工程效能和产品创新迭代， 超过3000余家企业续约学习，是科技领域占有率第1的客座导师品牌，msup以 整合全球领先经验实践为己任，为中国产业快速发展提供智库。 高可用架构主要关注互联网架构及高可用、可扩展及高性能领域的知识传播。