及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ，主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4. 云原生平台节点: 协议，支持标准数据库接 口 (0DBC、JDBC等) 。 对5QL的全面支持和多种过程语言 (Procedure Language) 的支持使得 PieCloudDB 可以无锋集成业内常见的提取/ 转换/加载 (ETL) 和 Bl (商业智能) 工具。企业只需安排少量的集成工作，就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB -上 从而避免了企业受制于供 中，每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 ， 高性能的数仓引擎 PieCloudDB 采用高效并行的方式进行数据加载和处理，处理速度随节点增加而提升，支持流数据快速加载。 PieCloudDB 的eMPP (弹性大规模并行计算) 架构让数据计算可以自动化弹性伸缩，用户可以根据计算任务灵活的分 配最优数量的节点执行查询。同时PieCloud

无状态节点（包括 Coordinator 和 Executer），主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能； 3. 存储节点： 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能； 协议，支持标准数据库接 口（ODBC、JDBC 等）。 对SQL的全面支持和多种过程语言（Procedure Language）的支持使得 PieCloudDB 可以无缝集成业内常见的提取/ 转换/加载（ETL）和 BI（商业智能）工具。企业只需安排少量的集成工作，就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB 上运行，从而避免了企业受制于供应商，帮助企业在控制业务风险的同时推动创 PieCloudDB 中，每份元数据都将以多副本的形式分散到多 个服务节点，并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 PieCloudDB 采用高效并行的方式进行数据加载和处理，处理速度随节点增加而提升，支持流数据快速加载。 PieCloudDB 的 eMPP（弹性大规模并行计算）架构让数据计算可以自动化弹性伸缩，用户可以根据计算任务灵活的分 配最优数量的节点执行查询。同时PieClou

........................................................................................ 34 4.4 加载数据 ................................................................................................ 如需执行查询，点击 即可。 4. 创建完数据库后，可以点击菜单栏的 来查看所有数据库的详细信息，包含 schema、tables、views、functions 等。 4.4 加载数据 1. 在加载数据前，需要回到数据洞察界面，先创建所需要的数据表和/或对应的 schema。接下来的 步骤，可以参考以下的实际案例。 假设在一个公司数据库中，需要创建以下六张表，根据它们的类别存放在三个不同的 csv”，点击 可以预览表数据，点击左下角的 ，根据文件格式填写分隔符、是否 包含表头和空值字符 串形式等补充信息，点击 即可完成上传和导入。 按照如上步骤，可以完成剩下五张表的创建和数据加载，并创建如下的 schema 结构。 4.5 查询计算 1. 基于以上创建的数据表，就可以进行一些查询计算来解决实际问题了。例如，想查看员工信息表的 全部记录，可以先回到 “数据洞察”

• 长期记忆 - LLM本身却没有长期记忆能力，对长时间交互的上下文 Query LLM Response 检索增强生成(RAG) • 将辅助增强数据通过embedding过程转换为向量，加载到向量数据库中并做索引 • 对每个用户输入同样通过embedding过程得到向量，从向量数据库中搜索距离相近数据 • 将这些辅助数据与用户输入同时输入给大模型之后输出 向量数据库 • emb 支持二进制索引 • 支持多级索引如HNSW+IVF等 • CPU多核并行/GPU加速 PieCloudVector • Faiss与postgres内核对接 - 基础接口 • 增加向量列类型用于基本的加载与卸载 • 实现向量距离运算符 • 实现向量近似搜索的索引，调用faiss PieCloudVector • Faiss与postgres内核对接 - 数据可见性 • faiss索引增加mvcc信息，与数据库内可见性保持一致

执⾏器 执⾏器 协调器 协调器 虚拟数仓1 执⾏器 协调器 虚拟数仓2 执⾏器 … 连接管理 查询优化器 资源隔离 向量化执⾏ 事务管理 执⾏计划 并⾏计算 ⾼可用 数据查询 数据加载 弹性伸缩 自定义函数 集群管控 元数据访问 业务数据读写 元数据映射 元数据： Ø 分布式KV，存储系统表 Ø 基于key的自然排序实现索引 Ø ⾼性能 Ø 基于watcher机制的⾼效分布式锁管理 @2024 OpenPie. All rights reserved. OpenPie Confidential 国产化适配 πDataCS 服务器 操作系统 应用 & 中间件 数据处理ETL ⽂件加载 流式接⼊ 数据科学 & AI BI⼯具 计算引擎 向量数 据库 @2024 OpenPie. All rights reserved. OpenPie Confidential @2024