reserved. OpenPie Confidential 构建之路 - 元数据 • 设计 • 借助于FoundationDB的串⾏化事务模拟轻量级锁. • 分布式锁来避免必要的并发冲突. • KV存储的排序性来实现btree索引. • 没有WAL. • …... @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 元数据缓存 . • 稳定性. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB内核的下⼀步 • 元数据存储 • ⼤概率缓存承担更⼤的作⽤. 进⼀步⼤幅减少持久存储的访问负载. • 元数据和数据库状态解耦存储. • 可能需要⼀部分的re-design. • 抽象各种解耦(包括持久存储）：降低复杂度、提⾼稳定性. • 等等

通过逻辑上的等价变换，把查询树转换为更加简单高效的等式 • 分发约束条件，收集外连接信息等 • 扫描/连接优化阶段 • 主要处理扫描和连接操作 • 扫描/连接之外的优化阶段 • 主要处理除扫描和连接之外的其他操作，例如聚集、排序等 • 后处理阶段 • 主要把前面的处理结果转换成执行器期望的形式 • 简化表达式 • 简化连接树 • 把 IN,EXISTS 等类型的子查询转换为半连接 • 提升子查询 • 把外连接转换为内连接

和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码，在社区参与诸多贡献 PieCloudDB 架构 元数据管理 基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引 将元组以 key-value 的形式存储 到 FoundationDB 元数据管理 • 临时状态存储（如lock等) 也放在FoundationDB • 依赖于Foundat

OpenPie Confidential • 将元组以key-value的形式存储到 FoundationDB • 使用原有的机制实现mvcc • 使用foundationdb key的自然排序实现index • Xmin：创建这个tuple的事务 id • Xmax：删除这个tuple的事务id • ctid：指向update的下一个tuple @2022 OpenPie. All

FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序 实现索引 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 使用和

FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序实 现索引 IvorySQL开源数据库社区 02 分布式引擎 IvorySQL开源数据库社区 计算 • MPP o 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群

FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序 实现索引 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N

事务管理 执⾏计划 并⾏计算 ⾼可用 数据查询 数据加载 弹性伸缩 自定义函数 集群管控 元数据访问 业务数据读写 元数据映射 元数据： Ø 分布式KV，存储系统表 Ø 基于key的自然排序实现索引 Ø ⾼性能 Ø 基于watcher机制的⾼效分布式锁管理 Ø 基于MVCC的事务隔离级别 Ø 多集群数仓数据共享 计算节点： Ø 自定义虚拟数仓，资源隔离 Ø 向量化执⾏器（SIMD）和JIT

PiecloudDB 产品核心技术 PieCloudDB 突破了PC时代计算平台的限制，大胆探索云上计算平台的新可能。其云原生架构运用全新 eMPP 分布式 技术，在传统 MPP 数据仓库功能丰富和成熟稳定等优势的基础上，加入了众多的云原生特性。 * 多集群数据共享 PieCloudDB 通过统一元数据管理技术安全轻松地实现不同集群间的数据共享，使数据库中任何一个集群可以对数据 库内任何一份数据进 PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 PiecloudDB 产品优势 作为一款云原生虚拟数仓，PieCloudDB 具备的弹性灵活、高性能、稳定成熟等特点，兼备云原生数据库所特有的即 开即用、敏捷灵活、安全可靠等优势，为企业的 PB 级海量数据分析需求提供极高的可用性和可千性。 完备的SQL标准 PiecloudDB 去原生特仁 ，*

PieCloudDB 产品核心技术 PieCloudDB 突破了PC时代计算平台的限制，大胆探索云上计算平台的新可能。其云原生架构运用全新 eMPP 分布式 技术，在传统 MPP 数据仓库功能丰富和成熟稳定等优势的基础上，加入了众多的云原生特性。 PieCloudDB 通过统一元数据管理技术安全轻松地实现不同集群间的数据共享，使数据库中任何一个集群可以对数据 库内任何一份数据进行访问，避免了数据 化器支持聚集下推，预计算，Block Skipping等高级特性，全面满足各种复杂的分析查询需求。 13 PieCloudDB 产品优势 作为一款云原生虚拟数仓，PieCloudDB 具备的弹性灵活、高性能、稳定成熟等特点，兼备云原生数据库所特有的即 开即用、敏捷灵活、安全可靠等优势，为企业的 PB 级海量数据分析需求提供极高的可用性和可靠性。 弹性灵活 传统数据仓库的计算和存储是紧密耦合的，计算资