OpenPie Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题， 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运 维和开发为主。 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎 数据计算。主要解决海量数据的存储和实时计算问题，具备湖仓⼀体化的能⼒， 用户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少⽽精（All in One），提供3种计算引擎、1种 Lakehouse引擎，1个硬件加速 Confidential P i e C l o u d D B 云 原 ⽣ 虚 拟 数 仓 核 ⼼ 价 值 物理数仓整合到云原⽣数据计算平台，根据数据授 权动态创建虚拟数仓，打破数据孤岛，解决数据多 副本问题，帮助企业降低数仓管理复杂度，以更低 的成本实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（Serverless）利用云上⽆限计算资源 和弹性

智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 式程序，以一种可靠、高效、可伸缩的方式进行数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开 发为主。 大模型数据计算系统，以云原生技术重构数据存储和计算，一份数据，多引擎数 据计算。主要解决海量数据的存储和实时计算问题，具备湖仓一体化的能力，用 户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少而精（All in One），提供3种计算引擎、1种 Lakehouse引擎，1个硬件加速 数 据 孤 岛 ， 消 除 数 据 多 副 本 PieCloudDB云原生虚拟数仓 核心价值 物理数仓整合到云原生数据计算平台，根据数据授权 动态创建虚拟数仓，打破数据孤岛，解决数据多副本 问题，帮助企业降低数仓管理复杂度，以更低的成本 实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务器 无感知技术（Serverless）利用云上无限计算资源和 弹性

开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迁代迅速，相关人员需保持积极的知识更新意识。根关人才市场较小，人才芽乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 云时代的数据处理要求 随着数据量和计算能力的爆发式增长，云计算技术的迅猛发展，云原生架构愈受欢迎，云原生时代应运而生。云原生 时代，越来越多的企业将应用向云上迁移，而越来越多的数据也流向云上。公有云带来了众多优势: 云原生虚拟数仓的“即开即用”特性 为企业节省了大量运维开支。由于 PieCloudDB 计算节点部署于云端，摆脱了物理限制和潜在的延迟，可随时随地通 过互联网轻松管理，无需任何硬件。数据随时随地可用，无需处理任何后端技术问题，为企业进行跨部门、跨区域的 数据共享和协作开辟了捷径，保证了企业的全球化进程。 * 坚如赤石(高安全、高可靠) 传统数据仓库将文件和资源存储在同一主机中，以主备节点数据方式补偿节点宕机时间，严重影响数据时效性，增加 (Serverles5) 利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用，53 存储和足云灾备能力保证了永不委数。 * 敏所可靠 传统数据仓库的黑箱状态，导致企业无法及时处理扩容、节点故障等问题。而 PieCloudDB 云原生虚拟数仓部署在云 上，具备云计算的敏捷、高效特性，且兼具 eMPP (elastic MPP) 所特有的弹性、高性能，可以轻松应对 PB 级海量 数据，服务之间互相

人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迭代迅速，相关人员需保持积极的知识更新意识。相关人才市场较小，人才匮乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 5 云时代的数据处理要求 随着数据量和计算能力的爆发式增长，云计算技术的迅猛发展，云原生架构愈受欢迎，云原生时代应运而生。云原生 时代，越来越多的企业将应用向云上迁移，而越来越多的数据也流向云上。公有云带来了众多优势： 云原生虚拟数仓的“即开即用”特性 为企业节省了大量运维开支。由于 PieCloudDB 计算节点部署于云端，摆脱了物理限制和潜在的延迟，可随时随地通 过互联网轻松管理，无需任何硬件。数据随时随地可用，无需处理任何后端技术问题，为企业进行跨部门、跨区域的 数据共享和协作开辟了捷径，保证了企业的全球化进程。 传统数据仓库将文件和资源存储在同一主机中，以主备节点数据方式补偿节点宕机时间，严重影响数据时效性，增加 了运维的成本和难度。PieCloudDB 利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用，S3 存储和跨云灾备能力保证了永不丢数。 敏捷可靠 降低数仓硬件和管理成本 传统数据仓库的黑箱状态，导致企业无法及时处理扩容、节点故障等问题。而 PieCloudDB 云原生虚拟数仓部署在云 上，具备云计算的敏捷、高效特性，且兼具 eMPP（elastic MPP）所特有的弹性、高性能，可以轻松应对 PB 级海量 数据，服务之间互相

大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 • 私域数据 - LLM训练数据多来源于公开渠道，无法接触到私域数据，对特定领域的生成任务质量不高。 • 长期记忆 向量数据库 • embedding通过大模型将各种形式的数据转换成向量 向量数据库 • 两个向量可以计算它们的距离（欧式，余弦/内积， 曼哈顿等），距离越近，表示这两个物体越相似 • 向量搜索的基本问题：K-Nearest Neighbor • 在已有的N个向量中找出与给定向量距离最近的K个向量 Query P1 P3 P4 P5 P6 （filtered） P7 P8 （filtered）

Come True IvorySQL开源数据库社区 • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难（后期升级部署困难） • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP : elastic Massive Parallel Processing 传统 PC 时代数据库 IvorySQL开源数据库社区 P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并至云虚拟数仓，打破传统数仓场景下 数据孤岛，解决数据多副本问题，帮助企业降低数 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE 技术保证了所有数据在落盘前完成加密，服务 器无感知技术（Serverless）利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用，S3

reserved. OpenPie Confidential • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难（后期升级部署困难） • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP : elastic Massive Parallel Processing 传 统 P C 时 代 Confidential P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并⾄云虚拟数仓，打破传统数仓场景下 数据孤岛，解决数据多副本问题，帮助企业降低数 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（Serverless）利⽤云上⽆限计算资源 和

www.openpie.com 有问题？扫码加入技术讨论群 或发送邮件至 ���������������������

reserved. OpenPie Confidential PieCloudDB简介 (cont.) • 为什么我们觉得数据库云原⽣很重要？ • 破除数据隔离（⼀份数据就好）. • 否则⼀致性问题、也浪费存储空间. • 数据作为新的⽣产要素要流通起来才有更⼤价值. • 参考云被认同的时间线. • 弹性伸缩（成本 & 性能 & 灵活）. • 云对于⼩中⼤客⼾都有价值. @2022 OpenPie

即可完成上传和导入。 按照如上步骤，可以完成剩下五张表的创建和数据加载，并创建如下的 schema 结构。 4.5 查询计算 1. 基于以上创建的数据表，就可以进行一些查询计算来解决实际问题了。例如，想查看员工信息表的 全部记录，可以先回到 “数据洞察” 界面，使用以下“SELECT” 语句来查看 “员工信息表” 中 的全部记录。 2. 或者想查看员工 “钱三”