πDataCS赋能工业软件创新与实践⼤模型数据计算系统,以云原⽣技术重构数据存储和计算,⼀份数据,多引擎 数据计算。主要解决海量数据的存储和实时计算问题,具备湖仓⼀体化的能⼒, 用户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎,组件少⽽精(All in One),提供3种计算引擎、1种 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 reserved. OpenPie Confidential 计算引擎之 PieCloudDB虚拟数仓,支撑更⼤模型所需的数据和计算 SQL语⾔实现的结构化数据上的模型计算 打破企业数据孤岛,整合企业所有表格类数据资源 πCloudDB(强逻辑计算) 云原⽣数据库/ 虚拟数仓 eMPP专利技术发明者/虚拟数仓产品的全球⾏业领导者 @2024 OpenPie. All rights reserved. 支持数据科学⼯程和BI⼯具,提供可视化业务看板 现场扫描数据 @2024 OpenPie. All rights reserved. OpenPie Confidential 法律法规 政策⽂件 投研类报告 产业调研材料 ⽂件上传 内容检索 ⽂件调取 前端 应用 ⼀阶段能⼒ 数据 计算 M3E模型 Embeddings Text2vec模型 其他模型 IVFFLAT索引 索引 HNSW索引0 码力 | 36 页 | 4.25 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS大模型数据计算系统,以云原生技术重构数据存储和计算,一份数据,多引擎数 据计算。主要解决海量数据的存储和实时计算问题,具备湖仓一体化的能力,用 户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎,组件少而精(All in One),提供3种计算引擎、1种 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 全面支持大语言基础模型和私域数据结合做垂直应用 πDataCS优势3 :云原生下eMPP计算引擎全面颠覆MPP技术,大模型数据计算新范式 SQL语言实现的结构化数据上的模型计算 打破企业数据孤岛,整合企业所有表格类数据资源 πCloudDB(强逻辑计算) 云原生数据库/ 虚拟数仓 eMPP专利技术发明者/虚拟数仓产品的全球行业领导者 计算引擎之 PieCloudDB虚拟数仓,支撑更大模型所需的数据和计算0 码力 | 29 页 | 7.46 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1.......................................................................... 11 2.10 安装 HELM-PUSH 插件 .................................................................................................. ........................................................................... 22 3.9 安装 HELM-PUSH 插件 .................................................................................................. cluster -f config-sample.yaml -a artifact.tar.gz 3. kubectl get pod -A 2.10 安装 helm-push 插件 在 master 节点的 piedbinstaller 目录下执行如下命令: 1. helm env|grep -i plugins ##查看 helm 的 plugin 路径0 码力 | 42 页 | 1.58 MB | 1 年前3
PieCloudDB Database V2.8 Release Notepdb_temptable_local_limit_filenum,控制临时表的数据文件溢出到远 端存储。 n 支持 autovacuum 清理孤立的临时表。 l pgaudit 插件 支持使用 pgaudit 插件生成审计日志。 l Kafka 接口 n 支持获取 Kafka FDW 统计数据。 n Kafka FDW 支持 JSON 格式。 l 执行计划信息 支持在0 码力 | 4 页 | 144.49 KB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现唯一性与事务性保证 • 断点续传 • 错误处理 • 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行,通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果,记录进度和错误信息0 码力 | 29 页 | 5.24 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现完善的Postgres生态 为什么选择Postgres? • 关于Postgres • 公司中⽴,开源协议友好,国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展,插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件) • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码,在社区参与诸多贡献0 码力 | 31 页 | 1.43 MB | 1 年前3
云原生数据库PieCloudDB 性能优化之路• 简化表达式 • 简化连接树 • 把 IN,EXISTS 等类型的子查询转换为半连接 • 提升子查询 • 把外连接转换为内连接 • 把外连接转换为反连接 • 分发约束条件 • 构建等价类 • 收集外连接信息 • 消除无用连接 • … SELECT … FROM foo WHERE EXISTS (SELECT 1 FROM bar WHERE foo.a = bar.c);0 码力 | 26 页 | 711.44 KB | 1 年前3
共 7 条
- 1













