生态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好的 完成各种业务场景的数据处理需求。但是对于开发的要求比较高，需要掌握多种 组件的不同使用方法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也无法直接利用云资 源的弹性能力。组件太多，导致集群部署和后期运维管理很麻烦，市场上相关人 才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开 发为主。 弹性保证了虚拟数仓永远在线可用，S3存储和跨云灾 备能力保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开无限数据计算空间，支 撑更大模型所需的数据和计算。更好地赋能业务发展并 走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 国产化软硬件，技术自主可控 ü 存算分离支持独立扩容 ü 全面适配信创环境 公 有 云 私 有 云 裸 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 合作伙伴兼容性认证，全面适配主流国产基础软件 拓数派成为立足中国信创的世界级数据计算研发力量 加入PieCloudDB 技术社区！

⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云 资源的弹性能⼒。组件太多，导致集群部署和后期运维管理很麻烦，市场上相 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运 维和开发为主。 和弹性保证了虚拟数仓永远在线可用，S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 支撑更⼤模型所需的数据和计算。更好地赋能业务发 展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐⽯ | ⾼安全 ⾼在线 ⾼可靠 突 破 性 创 新 的 核 ⼼ 技 术 出 ⾊ 的 数 仓 成 本 问题，帮助企业降低数仓管理复杂度，以更低的成本 实现存算资源在云上更灵活的配置。 打破数据孤岛，解决数据多副本 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 支撑更⼤模型所需的数据和计算。更好地赋能业务发 展并⾛向绿⾊。 提升数据计算资源利用效益 TDE技术保证了所有数据在落盘前完成加密，服务器 ⽆感知技术（Serverless）利用云上⽆限计算资源和弹 性

象思考和设计原则复用为技术路线，可将物理数仓整合 到云原生数据计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据 和计算。在云上，数据计算资源按需扩缩容，提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级 增加可计算数据空间的同时，数量级降低数仓成本，打开无限数据计算空间，推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式 中，每份元数据都将以多副本的形式分散到多 个服务节点，并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 PieCloudDB 采用高效并行的方式进行数据加载和处理，处理速度随节点增加而提升，支持流数据快速加载。 PieCloudDB 的 eMPP（弹性大规模并行计算）架构让数据计算可以自动化弹性伸缩，用户可以根据计算任务灵活的分 配最优数量的节点执行查询。同时PieCloudDB 9 1. 聚集下推 在执行聚集函数的过程中，查询优化器会把聚集操作下推到连接操作之前去执行，可以极大地减少连 接操作需要处理的数据量，使得查询性能显著提升。在很多分析型场景下，聚集下推会取得百倍或千 倍的性能提升。 2. Block Skipping PieCloudDB 实现了Block Skipping的优化机制，在数据库运行查询语句时，通过预计算每个块(block)

PieCloudDB ，是以对行业顶级数据库的抽象思考和设计原则复用为技术路线，采用领先的数仓 虚拟化技术，可将多个数仓统一整合到一个高可用的云虚拟数仓，打通多云的数据管道，数据计算资源按需扩缩容， 提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级增加可计算数据空间的同时，数量级降低数仓 成本，打开无限数据计算空间，推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 中，每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 ， 高性能的数仓引擎 PieCloudDB 采用高效并行的方式进行数据加载和处理，处理速度随节点增加而提升，支持流数据快速加载。 PieCloudDB 的eMPP (弹性大规模并行计算) 架构让数据计算可以自动化弹性伸缩，用户可以根据计算任务灵活的分 配最优数量的节点执行查询。同时PieCloudDB的 数据分析的实时性。 1. 票集下推 在执行聚集函数的过程中，查询优化器会把聚集操作下推到连接操作之前去执行，可以极大地减少连 接操作需要处理的数据量，使得查询性能显著提升。在很多分析型场景下，聚集下推会取得百倍或千 售的性能提升。 2.Block skipping PiecloudDB 实现了Block Skipping的优化机制，在数据库运行查询语句时，通过预计算每个块block) 中列聚集

版本号：V2.1 发布日期：2022 年 10 月 内 核 • 聚集下推功能得到增强：通过把聚集操作下推到连接操作之前去执行，极大的减 少连接操作需要处理的数据量，使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制：数据库运行查询语句时，通过计算每个块 （block）中列聚集信息，在执行期间跳过非必要的数据块，减少数据读取量提高查询性 能。 • 极速 的数据，从而实现 vacuum 加速。 • 存储引擎 简墨（JANM） 异常处理的优化： 避免各种异常情况下数据残留。 • 简墨（JANM）分布式处理增强：更高效的元数据采集和分发，提升用户查询响 应时间，降低系统负载 • 简墨（JANM）动态分配读取文件增强 dispatch 性能：此优化将动态的分配要 读取的文件给各个执行节点，降低查询的启动代价。 模型的模块化查询优化器，帮助用户对 SQL 进行优化，生成高效的查询计 划。 • 支持超大数据量字段 • 支持快速 ETL/ELT： Kafka 流数据导入支持，copy 性能大幅提升。 • 外部数据源的查询（实验性功能）： PieCloudDB 支持 foreign-data wrapper 模块，使用户可以访问包括但不限于 HDFS、MySQL 等数据源，同时支持用户自行开发

• 云原生优化器 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 更多⾼阶计算功能 • 聚集下推：1.0已经⽀持，在⼀些情况下可以⼗倍百倍更多倍提升 • SELECT a.i, SUM(a.j) FROM agg_pushdown_t a, agg_pushdown_t b WHERE 各种Postgres/Greenplum组件或者功能天然⽀持，如In- database AI组件Madlib, json, text等 • 实时ETL/ELT性能对⽐PieCloudDB 1.0有巨⼤提升 • 流处理：原⽣⽀持kafka数据导⼊和查询, 在PieCloudDB侧导⼊ 实现exactly once语义 智能化云原⽣平台 （数据服务平台） 面向用户，做到开箱即用：离数据分析更近，

算资 源和弹性保证了虚拟数仓永远在线可用，S3 存储和 跨云灾备能力保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开无限数据计算空间， 更好地赋能业务发展并走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 IvorySQL开源数据库社区 云原生优化器 PieCloudDB 优化器「达奇」 IvorySQL开源数据库社区 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 IvorySQL开源数据库社区 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性，提供更多高阶的优化 IvorySQL开源数据库社区

计算资源 和弹性保证了虚拟数仓永远在线可⽤，S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 @2022 All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生优化器 聚集下推 预计算 文件剪裁

主要处理除扫描和连接之外的其他操作，例如聚集、排序等 • 后处理阶段 • 主要把前面的处理结果转换成执行器期望的形式 • 简化表达式 • 简化连接树 • 把 IN,EXISTS 等类型的子查询转换为半连接 • 提升子查询 • 把外连接转换为内连接 • 把外连接转换为反连接 • 分发约束条件 • 构建等价类 • 收集外连接信息 • 消除无用连接 • … SELECT … FROM foo WHERE 动 • 利用Motion产生分布式的查询计划 • 这些分布式的查询计划会被分为更小的单元，并被分发到不同的工作节点中并行执行 • 对于聚集操作，利用分布式的优势，在工作节点之间通过多阶段聚集来提升性能 # explain (costs off) select sum(b) from t group by a; QUERY PLAN ---------------------------

• 降低内存使用 PieCloudVector • Faiss OpenMP线程改造 • 避免无效线程 PieCloudVector • Faiss OpenMP线程改造 • QPS大幅提升 PieCloudVector • Faiss OpenMP线程改造 • 内存占用大幅降低 PieCloudVector • Faiss与postgres内核对接 - gpu搜索的特殊路径 化数据主要是文本类数据 下一步展望 • GraphRAG 欢迎关注我们！ 麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构，携手2000余位 中外客座导师，服务于技术团队的能力提升、软件工程效能和产品创新迭代， 超过3000余家企业续约学习，是科技领域占有率第1的客座导师品牌，msup以 整合全球领先经验实践为己任，为中国产业快速发展提供智库。 高可用架构主要关注互联网架