云原生虚拟数仓 PieCloudDB ETL 方案设计与实现• 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果,记录进度和错误信息 • INSERT/MERGE 模式 • INSERT 模式,支持单纯导入场景 • 与现有数据没有逻辑关联的时序数据流 • INSERT 模式,步骤1 Ø PieCloudDB Foreign Table,postgres扩展,需要为数据源单独开发 Ø 控制节点上读取数据源信息,决定是否拆分,生成任务信息 CDC 场景 • 数据需要包含操作字段 (OP),即 INSERT/UPDATE/DELETE • 数据需要包含逻辑主键 (LPK),当逻辑主键不存在时做插入,已 存在时做更新或者删除 • 数据需要包含顺序键 (OK),以决定操作生效的顺序 • 数据可以重复,但不可以有事务逻辑错误 • Merge/Upsert 模式,步骤1 将数据解析完成,导入与目标表类型相同的临时表中 SELECT raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) parsed; • Merge/Upsert 模式,步骤2 临时表内部去重。对于相同逻辑主键LPK的行,取OK最大的那行 INSERT INTO temp_table SELECT all_columns FROM ( SELECT *, row_number() OVER PARTITION0 码力 | 29 页 | 5.24 MB | 1 年前3
PieCloudDB Database V2.8 Release Note1 Release Note 最新版本: V2.8 发布日期: 2023 年 10 月 内 核 l 回收站功能 实现回收站来跟踪逻辑上被删除(TRUNCATE/DROP/ALTER 等)的表,这些 表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计0 码力 | 4 页 | 144.49 KB | 1 年前3
云原生数据库PieCloudDB 性能优化之路PostgreSQL优化器简介 PieCloudDB优化器之分布式特性简介 PieCloudDB优化器之云原生特性简介 Q/A Contents 录 目 01 • 预处理阶段 • 通过逻辑上的等价变换,把查询树转换为更加简单高效的等式 • 分发约束条件,收集外连接信息等 • 扫描/连接优化阶段 • 主要处理扫描和连接操作 • 扫描/连接之外的优化阶段 • 主要处理除扫描和连接之外的其他操作,例如聚集、排序等0 码力 | 26 页 | 711.44 KB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现Materialized view ANSI 标准 SQL 的完备支持 @2022 OpenPie. All rights reserved. OpenPie Confidential • 全面的逻辑优化(谓词下推,子查询子链接提升,外连接消除) • 纯粹基于代价的物理优化 • 全面的数据分布特性描述,分布式代价估算,高效分布式表连接 • 多阶段的聚集 专门为复杂查询设计的优化器 分布式环境高效执行器0 码力 | 43 页 | 1.14 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCSπDataCS优势3 :云原生下eMPP计算引擎全面颠覆MPP技术,大模型数据计算新范式 SQL语言实现的结构化数据上的模型计算 打破企业数据孤岛,整合企业所有表格类数据资源 πCloudDB(强逻辑计算) 云原生数据库/ 虚拟数仓 eMPP专利技术发明者/虚拟数仓产品的全球行业领导者 计算引擎之 PieCloudDB虚拟数仓,支撑更大模型所需的数据和计算 元数据 Coordinato r0 码力 | 29 页 | 7.46 MB | 1 年前3
πDataCS赋能工业软件创新与实践Confidential 计算引擎之 PieCloudDB虚拟数仓,支撑更⼤模型所需的数据和计算 SQL语⾔实现的结构化数据上的模型计算 打破企业数据孤岛,整合企业所有表格类数据资源 πCloudDB(强逻辑计算) 云原⽣数据库/ 虚拟数仓 eMPP专利技术发明者/虚拟数仓产品的全球⾏业领导者 @2024 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 36 页 | 4.25 MB | 1 年前3
共 6 条
- 1













