… 连接管理 查询优化器 资源隔离 向量化执⾏ 事务管理 执⾏计划 并⾏计算 ⾼可用 数据查询 数据加载 弹性伸缩 自定义函数 集群管控 元数据访问 业务数据读写 元数据映射 元数据： Ø 分布式KV，存储系统表 Ø 基于key的自然排序实现索引 Ø ⾼性能 Ø 基于watcher机制的⾼效分布式锁管理 Ø 基于MVCC的事务隔离级别 Ø 多集群数仓数据共享 计算节点： ⾼可靠，支持跨多数据中⼼的灾备复制。 Ø 节约成本，全局数据唯⼀存储，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本。 事务管理： Ø 存两种隔离级别：Read Committed、Repeatable Read Ø ⾼性能事务管理器，支持自动扩展。 Ø ⾼可靠性，支持故障自动容错。 Ø 租户之间的事务管理器完全隔离，互不⼲扰。 @2024 OpenPie. All rights reserved. OpenPie 供应商数据管理 项目管理 数据分析云平台 第三⽅系统接⼊ BPMS流程自动化 数据 应用 业务需求： 基于核⼼研发团队在集团首艘豪华邮轮建造项目中的调试完⼯实施管理及质量数据应用的经验，打造集监测、检测成⼀体适用于⼤型复杂 装备建造项目的国产数字化调试完⼯应用平台。旨在为豪华邮轮国产化提供专业的自动化软件应用的同时，加速调试完⼯数字平台国产化 的进程 。 本期项目的主要建设目标： Ø 在设计

OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 元数据 • 设计 • 借助于FoundationDB的串⾏化事务模拟轻量级锁. • 分布式锁来避免必要的并发冲突. • KV存储的排序性来实现btree索引. • 没有WAL. • …... @2022 OpenPie. All rights reserved. OpenPie Confidential MPP引擎为基础. • 元数据只在Coordinator上访问FoundationDB. • QE节点元数据主要由QD精准⾼效dispatch. • Dispatcher各种优化. • 没有耗时的2PC分布式事务. @2022 OpenPie. All rights reserved. OpenPie Confidential 成⻓之路 • 性能变好 • 聚集下推⽀持. • 预计算⽀持. • Block

@2022 OpenPie. All rights reserved. OpenPie Confidential 计算引擎方面 • 完备的SQL语言支持 • 高效的分布式计算能力 • 完备的事务支持，隔离性 一致性 原 子性 公有云特性方面 • 存算分离 • 弹性的计算集群 • 只为必要的计算付费 @2022 OpenPie. All rights reserved. OpenPie 涉及数据的移动 • Segment节点不直接访问系统表，事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁 • 系统表以 mstore 的方式存储在 FoundationDB OpenPie Confidential 云原生特性的实现途径 • 弹性伸缩的集群 • 完全无状态的Segment节点 • Multi-cluster • 独立的系统表 • 分布式的锁和事务 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie

功能齐全 性能极致 安全可靠 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口（WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源（横向和纵向）、极速调整 • @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序 实现索引 @2022 OpenPie. All rights OpenPie Confidential • ACID - 支持两种隔离级别：读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 事务 @2022 OpenPie. All rights reserved. OpenPie Confidential

机器学习 数据转换 深度学习 传统BI 地理信息 PieCloudDB 设计原则：100%符合DB标准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的 SQL 标准 Ø ACID 事务 IvorySQL开源数据库社区 PART 03 PieCloudDB 架构特点 IvorySQL开源数据库社区 数仓虚拟化：可将多个数仓统一整合到一个高可用的云虚拟数仓 元数据 Master Multi-master • 多机并发访问 • 分布式环境下的多版本 元数据管理的设计目标 IvorySQL开源数据库社区 mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序实 现索引 IvorySQL开源数据库社区 02 分布式引擎 全局只需要存储一份数据，通过共享存储来实现数据共享，避免拷 贝和维护多份数据副本 IvorySQL开源数据库社区 事务 • ACID 支持两种隔离级别：读已提交、可重复读 • 扩展性 事务管理器无单点性能瓶颈 • 隔离性 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 事务管理器支持对各类基础设施故障进行自动容错 IvorySQL开源数据库社区 03 用户数据存储 IvorySQL开源数据库社区

地理信息 P i e C l o u d D B 设 计 原 则 ： 1 0 0 % 符 合 D B 标 准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的SQL 标准 Ø ACID 事务 @2022 OpenPie. All rights reserved. OpenPie Confidential 数仓虚拟化：可将多个数仓统一整合到一个高可用的云虚拟数仓 元数据 Master @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序 实现索引 @2022 OpenPie. All rights OpenPie Confidential • ACID - 支持两种隔离级别：读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 事务 @2022 OpenPie. All rights reserved. OpenPie Confidential

多租户隔离 • 存储资源和计算资源：分离和隔离 • 资源伸缩快速简单 • 计算、存储：按需付费 • 智能管理，复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别：RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口（websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源（横向纵向）、极速调整 PieCloudDB 架构 元数据管理 基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引 将元组以 key-value 的形式存储 到 FoundationDB 元数据管理 • 临时状态存储（如lock等) 也放在FoundationDB • 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群（虚拟数仓）可以共享⼀份元数据

等格式的文件 • 为不同类型的查询特化的系统会有不同的存储方式 • 同一份底层原始数据使用不同系统查询会产生 ETL 需求 • 多种数据源 • 多种数据格式 • 通用的数据处理/转换 • 唯一性与事务性保证 • 断点续传 • 错误处理 • 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 INSERT/UPDATE/DELETE • 数据需要包含逻辑主键 (LPK)，当逻辑主键不存在时做插入，已 存在时做更新或者删除 • 数据需要包含顺序键 (OK)，以决定操作生效的顺序 • 数据可以重复，但不可以有事务逻辑错误 • Merge/Upsert 模式，步骤1 将数据解析完成，导入与目标表类型相同的临时表中 SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT

OpenMP指令语句 • 转换为调用自定义线程池和 lambda表达式 • 共享变量替换及并发保护 PieCloudVector • Faiss OpenMP线程改造 • 控制全局线程数 • 降低线程锁冲突 • 降低内存使用 PieCloudVector • Faiss OpenMP线程改造 • 避免无效线程 PieCloudVector • Faiss OpenMP线程改造 • QPS大幅提升