πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免⽹络延迟和数据移动，提⾼计算效率，保 证用户的实时性需求。PieCloudDB针对底层对象存储设计了 ⾼效的⽂件格式，可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能⾼效地⽣成统计信息，并⽣成更⾼ 效的查询计划，达奇优化器支持聚集下推，预计算，Block Skip 应用重新下发SQL指令。 @2024 OpenPie. All rights reserved. OpenPie Confidential 统⼀存储格式，⼀份数据，多引擎计算 核⼼ - JANM Table Format 四家最早推出表格式Table Format提出者： 为了实现⼀份数据，多引擎计算，全面支持⼤模型的同时 也兼容⼤数据。 @2024 OpenPie. All rights

πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (大模型)机器学习 向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多层 缓存结构，避免网络延迟和数据移动，提高计算效率，保证用 户的实时性需求。PieCloudDB针对底层对象存储设计了高效的 文件格式，可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能高效地生成统计信息，并生成更高效 的查询计划，达奇优化器支持聚集下推，预计算，Block Skip Graph Parallel Computing Machine Learning Large Language Models … 简 墨 (JANM) 存 储 统一 Catalog｜统一数据格式｜一份数据多引擎计算 Parquet πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） Orc … Mundo 元数据管理系统 计算引擎之PieCloudML（大模型）机器学习，更大模型多模机器学习数据计算

为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算 (Data Computing) 的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样，企业的数字 化转型面临巨大挑战，急需一款数据库产品，帮助其最大化利用数据资产，降本增效，进行更智能高效的数据计算。 数据库的未来在云上 随着云计算时代的到来，不仅使得计算成本极大地降 foreign-data wrapper 《FDW) 模块，让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持JS5ON，XML，Parquet以及 二进制数据等格式，同时，PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库Apache MADlib，从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法，包括 高查询效率; 在读取 少量数据时，提高Cache命中率，减少MO 次数。 pieCloudDB实现了存储中立，支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式，还支持部署在存 储系统的开源格式，例如 Parquet。 此外，PieCloudDB 针对对象存储进行了优化，对分布式处理和写处理进行了增强，在特定查询场景下，避免了重组 操作，提高了 /0O 效率。 * eMPP

为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算（Data Computing）的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样，企业的数字 化转型面临巨大挑战，急需一款数据库产品，帮助其最大化利用数据资产，降本增效，进行更智能高效的数据计算。 数据库的未来在云上 随着云计算时代的到来，不仅使 foreign-data wrapper （FDW）模块，让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持 JSON，XML， Parquet以及 二进制数据等格式，同时，PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库 Apache MADlib，从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法，包括 ；在读取 少量数据时，提高Cache命中率，减少 I/O 次数。 PieCloudDB实现了存储中立，支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式，还支持部署在存 储系统的开源格式，例如 Parquet。 此外，PieCloudDB 针对对象存储进行了优化，对分布式处理和写处理进行了增强，在特定查询场景下，避免了重组 操作，提高了 I/O 效率。

rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential janm 格式 行列混存（PAX） 为极致的数据计算而设计和优化 解析性能极致 (vs Parquet, etc) @2024 OpenPie. All rights reserved. OpenPie Confidential . 按需增加 @2024 OpenPie. All rights reserved. OpenPie Confidential 产品子功能 太多分支？ • 抽象的⽂件协议接⼝ • 抽象的⽂件格式接⼝ • 抽象的计算功能接⼝（e.g. data skipping） • 抽象的元数据存储接⼝ • …… 抽象和灵活的考虑贯穿所有的设计. Apache Arrow作为不少组件内存中间桥梁. @2024 赋能更多的计算形态. • 云上计算调度. @2024 OpenPie. All rights reserved. OpenPie Confidential 计算外延 • 仓湖一体：仓衍生支持开源表格式 • 先读，Iceberg on hdfs/s3读取已基本支持. • 长远不排除”一等公民”. • 联邦查询. @2024 OpenPie. All rights reserved. OpenPie

• 简墨（JANM）动态分配读取文件增强 dispatch 性能：此优化将动态的分配要 读取的文件给各个执行节点，降低查询的启动代价。 • 原生格式存储：在 HDFS/NAS 系统上支持原生存储格式。 • 对 Orca 的支持：PieCloudDB 支持查询优化器 Orca。Orca 是一款开源的、基 于 Cascades 模型的模块化查询优化器，帮助用户对 支持快捷键执行请求 o 支持 sql 文本查找/替换 • 数据导入优化： o 支持数据导入时自由切入/切出页面，无需用户在导入界面停留等待 o 支持 text 文本格式 o 统一报错信息 • 数据库信息：增加表的大小（size） 信息展示 • 计算集群：外部接入支持更多类型，用户可以更加灵活的配置端口范围

就是不需要 ETL，各系统共享同一份底层数据 • PieCloudDB 支持直接读取对象存储上的 parquet 等格式的文件 • 为不同类型的查询特化的系统会有不同的存储方式 • 同一份底层原始数据使用不同系统查询会产生 ETL 需求 • 多种数据源 • 多种数据格式 • 通用的数据处理/转换 • 唯一性与事务性保证 • 断点续传 • 错误处理 • 任务调度总控 pdbconduct raw FROM foreign_table; • INSERT 模式，步骤2 Ø PieCloudDB Formatter Ø 解析 Foreign Table产生的 raw 数据，转换为内部行格式，生成需要的各列 CREATE FUNCTION formatter(input bytea) RETURNS user_type …; SELECT meta, raw FROM foreign_table

计算引擎加速友好（SIMD, SIMT, etc） @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 最后设计格式：JANM (简墨） • ⼀个S3⽂件内所有数据MVCC可⻅性⼀致 (U/D/I写新⽂件）. • ⾏列混存，Cache访问友好. • 附带元数据⽤于data skipping、预聚集等. • Encode/Compress @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 格式为什么不直接使⽤Parquet, etc? • 我们不需要存储schema. • 原⽣Postgres感知的存储格式：⽐如避免⼀些额外的反序列化. • 更加灵活可控实现. • …... • 但是我们还是可通过foreign data wrapper访问Parquet

πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型) 机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） Mundo元数据管理系统 统⼀Catalog 公有云 私有云 政务云 ⾏业云 信创云

，选择集群“cluster1”、数据 库 “公司数据库”和目标表 “公司人事数据/员工信息表” ，点击 ，选择“员工信息 表.csv”，点击 可以预览表数据，点击左下角的 ，根据文件格式填写分隔符、是否 包含表头和空值字符 串形式等补充信息，点击 即可完成上传和导入。 按照如上步骤，可以完成剩下五张表的创建和数据加载，并创建如下的 schema 结构。 文本的内容、状态、请求 id、请求耗时以及开始时间。也可以通过最上面的筛选框来 筛选查询语句的状态、起始日期和结束日期。 2. 如果需要下载的某次查询的结果，可以点击该SQL文本最右侧的 ，将结果以 csv 格式下载到 本地。 5. 外部工具或者应用连接配置 5.1 打开集群的外部入口 5.2 创建 database 1. CREATE DATABASE testdb;