4.4 加载数据 1. 在加载数据前，需要回到数据洞察界面，先创建所需要的数据表和/或对应的 schema。接下来的 步骤，可以参考以下的实际案例。 假设在一个公司数据库中，需要创建以下六张表，根据它们的类别存放在三个不同的 schema 下。 2. 以 “员工信息表” 为例，点击选择目标数据库 “公司数据库” 和集群 “cluster1” ，可以使 “CREATE TABLE” 语句创建一张 “员工信息表” ，定义好每个字段的名称和类型。 4. 然后在菜单栏点击 ，点击右上角的 ，选择集群“cluster1”、数据 库 “公司数据库”和目标表 “公司人事数据/员工信息表” ，点击 ，选择“员工信息 表.csv”，点击 可以预览表数据，点击左下角的 ，根据文件格式填写分隔符、是否 即可完成上传和导入。 按照如上步骤，可以完成剩下五张表的创建和数据加载，并创建如下的 schema 结构。 4.5 查询计算 1. 基于以上创建的数据表，就可以进行一些查询计算来解决实际问题了。例如，想查看员工信息表的 全部记录，可以先回到 “数据洞察” 界面，使用以下“SELECT” 语句来查看 “员工信息表” 中 的全部记录。 2. 或者想查看员工

reserved. OpenPie Confidential • 全面的逻辑优化（谓词下推，子查询子链接提升，外连接消除） • 纯粹基于代价的物理优化 • 全面的数据分布特性描述，分布式代价估算，高效分布式表连接 • 多阶段的聚集 专门为复杂查询设计的优化器 分布式环境高效执行器 • 多阶段执行模型 • 流式数据重分布 @2022 OpenPie. All rights reserved. OpenPie 的移动 • Segment节点不直接访问系统表，事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁 • 系统表以 mstore 的方式存储在 FoundationDB rights reserved. OpenPie Confidential 云原生特性的实现途径 • 弹性伸缩的集群 • 完全无状态的Segment节点 • Multi-cluster • 独立的系统表 • 分布式的锁和事务 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved

最新版本： V2.8 发布日期： 2023 年 10 月 内 核 l 回收站功能 实现回收站来跟踪逻辑上被删除（TRUNCATE/DROP/ALTER 等）的表，这些 表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录（catalog）信息，在每个虚 比较稀疏时支持使用游程编码，可以节省 60%-95% 的存储空间。 2 l 优化 Block Skipping 实现 JANM 的虚拟索引。对于某些特殊的访问方法，表的数据文件/块已经包 含可以用作索引的信息，通过虚拟索引不仅可以利用这些信息来提高性能，而 且能减少维护开销。 l 简墨 JAMN 相关优化 n 通过 Delte Encoding 优化 pdb_enable_janm_toast，控制 JANM 访问方法中的 Toast。 n 新增建表选项 page_size，设置生成新 Page 的大小限制，以兆字节为单 位。 n 新增建表选项 block_file_size，设置生成新文件的 Block 文件大小限制， 以兆字节为单位。 n 新增建表选项 num_stat_col，控制文件内统计列数，为每个 JANM 文件 节省 CPU

FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) sub; • INSERT 模式，步骤4 插入目标表 INSERT INTO table SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL formatter(raw) AS r) sub; INSERT 模式，步骤5： INSERT INTO history SELECT meta FROM foreign_table 插入历史表，支持断点续传 • Merge/Upsert 模式，支持 CDC 场景 • 数据需要包含操作字段 (OP)，即 INSERT/UPDATE/DELETE • 数据需要包含逻辑主键 (LPK)，当逻辑主键不存在时做插入，已 Merge/Upsert 模式，步骤1 将数据解析完成，导入与目标表类型相同的临时表中 SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) parsed; • Merge/Upsert 模式，步骤2 临时表内部去重。对于相同逻辑主键LPK的行，取OK最大的那行

PieCloudDB 产品概述 PieCloudDB 产品架构 PieCloudDB 产品特性 PieCloudDB 产品核心技术 PieCloudDB8 产品优势 关于OpenpPie 附录: 术语表 11 13 15 16 openpie | PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 很多受欢迎的数据库仓库均为分布式数据库，而典型 分布式数据库系统大多是 MPP (大规模并行计算) 架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1 录。数据计算时，所有机器同时并行计算，理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ，节省了海量数据的处理时间。 提供企业级数据透明加密。实时加密 (on-the-fly) 、高强度算法、多级密钥、传输加密等技术为企业数 据的安全性保驾护航。 pieCloudDB 还支持包括数据库、表级别授权管理等完善的安全及权限管理，帮助企业系统地管理表级别的权限。支 持函数、参数等相关的白名单配置，避免用户对系统进行误操作。 此外，PieCloudDB 提供的可视化平台，帮助企业更方便地梳理维护角色授权。安全性上支持端到端的访问控制管理

产品架构 PieCloudDB 产品特性 PieCloudDB 产品核心技术 PieCloudDB 产品优势 关于OpenPie 附录：术语表 3 3 3 4 5 6 7 7 8 11 13 15 16 目 录 行 业 背 景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信 很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时，所有机器同时并行计算，理论上最高可以 把计算时间降低到单机部署的 1/n（n为机器数量），节省了海量数据的处理时间。 提供企业级数据透明加密。实时加密（on-the-fly）、高强度算法、多级密钥、传输加密等技术为企业数 据的安全性保驾护航。 PieCloudDB 还支持包括数据库、表级别授权管理等完善的安全及权限管理，帮助企业系统地管理表级别的权限。支 持函数、参数等相关的白名单配置，避免用户对系统进行误操作。 此外，PieCloudDB 提供的可视化平台，帮助企业更方便地梳理维护角色授权。安全性上支持端到端的访问控制管理

• 支持按页/按表轮换密钥 • 密钥保存 • 次级密钥均在持久化存储中 • 页级密钥与数据共存 主密钥 用户创建 用户信任域 主密钥 租户密钥 用户创建 租户创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 用户创建 租户创建 表创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入

OpenPie Confidential mstore — FoundationDB上的Catalog 使用和 Postgres 相同方式存储元数据 —— 将元数据存储在系统表中 实现新的基于key-value的存储来存放系统表 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f 计划单元 @2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential 符合业务安全审计要求 安全性增强 @2022 OpenPie. All rights reserved. OpenPie Confidential 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 @2022 OpenPie. All rights reserved. OpenPie Confidential

在只有内连接的情况下，约束条件可以直接下推到它的自然语义位置 • 如果有外连接存在，那么约束条件的下推可能会受到限制 • 对于外连接自己的连接条件，如果它引用了nonnullable side的表，那么它就无法被下推到该外连 接之下 # EXPL AIN (COSTS OFF) SELECT * FROM foo LEFT JOIN bar ON foo.a = 42; QUERY PL Seq Scan on foo -> Materialize -> Seq Scan on bar (5 rows) • 对于外连接上层的约束条件，如果它引用了nullable side的表，那么它就无法被下推到该外连接之 下 # EXPL AIN (COSTS OFF) SELECT * FROM foo LEFT JOIN bar ON TRUE WHERE COALESCE(bar Materialize -> Seq Scan on bar (5 rows) • 主要处理查询语句中FROM和WHERE部分 • 同时也会考虑到ORDER BY的信息 • 代价驱动 • 为基表生成扫描路径，并计算扫描路径的代价和结果集大小 • 搜索整个连接顺序空间，为连接操作生成连接路径 • O(n!) • 动态规划 • 遗传算法 • 考虑外连接对连接顺序的限制 (A leftjoin

• 处理复杂 OLAP 查询 • 云原生优化器 PieCloudDB 优化器「达奇」 IvorySQL开源数据库社区 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 IvorySQL开源数据库社区 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性，提供更多高阶的优化 用户无感知，不影响用户的业务，对性能影响小 • 合规 o 符合数据安全审计要求 o 符合业务安全审计要求 安全性增强 IvorySQL开源数据库社区 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 IvorySQL开源数据库社区 安全性增强 • 云原生安全 o 传输层加密 o 缓存数据加密 • 存储安全