云原生数据库 PieCloudDB ： Unbreakable 安全特性剖析 王 淏 舟 P i e C l o u d D B 资 深 技 术 专 家 O p e n P i e | 拓 数 派 打造立足于国内 基础数据计算领域的世界级高科技创新驱 动机构 !"#$%&'()*+,-./01234567489:;1<=>=? @AB3C>75D?EAF?G4H?<7IJAK4F74I8L$MNO:PQR(STQUV: 674@ŽAC•<•:;‡NO‘’Q“Nk”:• x–R 4—66 Š˜™'š:›œ•jžXŸ ¡¢Z£`:¤S$M¥ ¦§¨©:ª{Rkž«¬-®¯u®°Z±²³‡$M•´µ„ PART 01 的安全特性 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证

D B 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生 Serverless 架构 ü 第三方计费模式 ü 持续产品升级，体验产品最新特性 ü 丰富的社区活动，赋能社区用户 ü 强大的开发者支持 ü 云原生 eMPP 专利技术支持与赋能 ü 7*24小时产品故障服务响应 ü 基于业务需求的专家团队服务 ü 国产化软硬件，技术自主可控 高效的文件格式，可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 可以更智能高效地生成统计信息，并生成更高 效的查询计划，达奇优化器支持聚集下推，预计算，Block Skipping 等高级特性，全面满足各种复杂的分析查询需求。 IvorySQL开源数据库社区 文本 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 PieCloudDB 设计原则：100%符合DB标准 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性，提供更多高阶的优化 IvorySQL开源数据库社区 05 安全性增强 IvorySQL开源数据库社区 透明加密技术 • 加密用户数据，避免被未经许可人员读出 • 用户无感知，不影响用户的业务，对性能影响小 • 合规 o 符合数据安全审计要求 o 符合业务安全审计要求 安全性增强 IvorySQL开源数据库社区 主密钥 租户密钥

D B 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原⽣Serverless架构 ü 第三⽅计费模式 ü 持续产品升级，体验产品最新特性 ü 丰富的社区活动，赋能社区⽤户 ü 强⼤的开发者⽀持 ü 云原⽣eMPP专利技术⽀持与赋能 ü 7*24⼩时产品故障服务响应 ü 基于业务需求的专家团队服务 ü 国产化软硬件，技术⾃主可控 高效的文件格式，可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能⾼效地⽣成统计信息，并⽣成更⾼ 效的查询计划，达奇优化器支持聚集下推，预计算，Block Skipping等高级特性，全面满足各种复杂的分析查询需求。 @2022 OpenPie. All rights reserved. OpenPie Confidential 文本 时间序列分析 机器学习 数据转换 聚集下推 预计算 文件剪裁 针对云环境的特性，提供更多高阶的优化 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 ， 只 为 新 发 现 05 安全性增强 @2022 OpenPie. All

reserved. OpenPie Confidential 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性，提供更多高阶的优化 @2022 OpenPie. All rights reserved. OpenPie Confidential 安全性增强 生态建设 全链路优化 @2022 OpenPie. All rights reserved. OpenPie Confidential 安全性增强 @2022 OpenPie. All rights reserved. OpenPie Confidential 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 @2022 OpenPie. All rights reserved. OpenPie Confidential 安全性增强 • 云原生安全

云时代的数据处理要求 PieCloudDB，云原生虚拟数仓 PieCloudDB 产品概述 PieCloudDB 产品架构 PieCloudDB 产品特性 PieCloudDB 产品核心技术 PieCloudDB 产品优势 关于OpenPie 附录：术语表 3 3 3 4 5 6 7 7 8 SQL 兼容度 多维度弹性扩缩容 高可用能力 高性能的数仓引擎 PieCloudDB 产品特性 PieCloudDB 高度兼容 SQL: 2016 标准，完全支持SQL: 1992标准、大部分的SQL: 1999和部分SQL: 2003标准（主要支 持其中的OLAP 特性），支持窗口函数等高阶表达式。此外， PieCloudDB 兼容 PostgreSQL 协议，支持标准数据库接 PieCloudDB 突破了PC时代计算平台的限制，大胆探索云上计算平台的新可能。其云原生架构运用全新 eMPP 分布式 技术，在传统 MPP 数据仓库功能丰富和成熟稳定等优势的基础上，加入了众多的云原生特性。 PieCloudDB 通过统一元数据管理技术安全轻松地实现不同集群间的数据共享，使数据库中任何一个集群可以对数据 库内任何一份数据进行访问，避免了数据复制与移动的复杂性。此外，PieCloudDB

数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 云时代的数据处理要求 piecloudDB，云原生虚拟数仓 PieCloudDB 产品概述 PieCloudDB 产品架构 PieCloudDB 产品特性 PieCloudDB 产品核心技术 PieCloudDB8 产品优势 关于OpenpPie 附录: 术语表 11 13 15 16 openpie | PiecloudDB 基于 eMPP eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 PiecloudDB 产品特性 * 全面的 SQL 兼容度 PieCloudDB 高度兼容 59L; 2016 标准，完全支持SQL: 1992标准、大部分的SQL: 1999和部分SQL: 2003标准 (主要支 持其中的OLAP 特性) ，支持窗口函数等高阶表达式。此外， PieCloudDB 容 PostgreSQL 协议，支持标准数据库接 PieCloudDB 突破了PC时代计算平台的限制，大胆探索云上计算平台的新可能。其云原生架构运用全新 eMPP 分布式 技术，在传统 MPP 数据仓库功能丰富和成熟稳定等优势的基础上，加入了众多的云原生特性。 * 多集群数据共享 PieCloudDB 通过统一元数据管理技术安全轻松地实现不同集群间的数据共享，使数据库中任何一个集群可以对数据 库内任何一份数据进行访问，避免了数据复制与移动的复杂性。此外，PieCloudDB

k 等流批⼀体处理、LLM的向量数据库以及GIS地理数据库等。 1 2 3 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎数据计算，AI数学模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， ⾼效的⽂件格式，可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能⾼效地⽣成统计信息，并⽣成更⾼ 效的查询计划，达奇优化器支持聚集下推，预计算，Block Skipping等⾼级特性，全面满⾜各种复杂的分析查询需求。 @2024 OpenPie. All rights reserved. OpenPie Confidential eMPP分布式专利技术 架构阐述： 1. 提升。 达奇 PieCloudDB Optimizer Ø 基于eMPP架构的云原⽣分布式 优化器； Ø 为海量数据集上的复杂OLAP查 询提供最优的查询计划。 预计算 根据对象存储的特性，为每⼀个数据块预先计算好块内数据的聚集值。通过把聚集操作下推到对数据表 的扫描之上，可以直接利用数据块内预计算的结果，从⽽避免了⼤量的计算。 ⽂件裁剪 利用每个数据块内预计算的结果，提前过滤

Release Note 版本号：V2.1 发布日期：2022 年 10 月 内 核 • 聚集下推功能得到增强：通过把聚集操作下推到连接操作之前去执行，极大的减 少连接操作需要处理的数据量，使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制：数据库运行查询语句时，通过计算每个块 （block）中列聚集信息，在执行期间跳过非必要的数据块，减少数据读取量提高查询性 ，提高元数据访问的速度。 • 可观察性增强：可得到更多的查询时系统的统计信息，包括元数据管理、S3 等。 • Vacuum 优化：在元数据层通过快速过滤不需要 vacuum 的数据，从而实现 vacuum 加速。 • 存储引擎 简墨（JANM） 异常处理的优化： 避免各种异常情况下数据残留。 • 简墨（JANM）分布式处理增强：更高效的元数据采集和分发，提升用户查询响 应时间，降低系统负载 • 简墨（JANM）动态分配读取文件增强 dispatch 性能：此优化将动态的分配要 读取的文件给各个执行节点，降低查询的启动代价。 • 原生格式存储：在 HDFS/NAS 系统上支持原生存储格式。 • 对 Orca 的支持：PieCloudDB 支持查询优化器 Orca。Orca 是一款开源的、基 于 Cascades 模型的模块化查询优化器，帮助用户对

24发布1.0版本，技术和产品上实现了云原⽣. • 计算和存储分离：弹性计算 & 弹性存储. • 计算和存储都：按需付费. • 多租⼾隔离. • 2023年3.14上公有云（阿⾥云）. • 更多功能增强 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 (cont.) • 为什么我们觉得数据库云原⽣很重要？ reserved. OpenPie Confidential 成⻓之路 (cont.) • 功能变强或者补全 • 海量数据修改增强. • 初步备份功能. • Vacuum增强. • 统计数据⾃动收集更新. • Spill to S3⽀持 • 临时表完全⽀持. • 各种异常处理增强. • …... • 稳定性. @2022 OpenPie. All rights reserved. OpenPie Confidential

计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 • 私域数据 - LLM训练数据多来 LLM训练数据多来源于公开渠道，无法接触到私域数据，对特定领域的生成任务质量不高。 • 长期记忆 - LLM本身却没有长期记忆能力，对长时间交互的上下文 Query LLM Response 检索增强生成(RAG) • 将辅助增强数据通过embedding过程转换为向量，加载到向量数据库中并做索引 • 对每个用户输入同样通过embedding过程得到向量，从向量数据库中搜索距离相近数据 • 将这些辅助数据与用户输入同时输入给大模型之后输出