πDataCS赋能工业软件创新与实践B 技 术 突 破 : 数 仓 虚 拟 化 云原⽣存算分离架构 运用元数据-计算-数据分离的三层架构,实现云上存储资源与 计算资源的独立管理。云上计算资源可弹性分配,有查询计 算任务的时候按需启动,按照使用时间和规模计算成本。 eMPP分布式专利技术 在云上,PieCloudDB利用eMPP(elastic Massive Parallel Processing)架构,实现多集群并发执⾏任务。企业可灵活 数据治理 数据归档 主题数据 数据 平台 数据追溯 数据比对 数据科学 项目进程数据看板 移动完⼯调试 设计与建造 计划管理 供应商数据管理 项目管理 数据分析云平台 第三⽅系统接⼊ BPMS流程自动化 数据 应用 业务需求: 基于核⼼研发团队在集团首艘豪华邮轮建造项目中的调试完⼯实施管理及质量数据应用的经验,打造集监测、检测成⼀体适用于⼤型复杂 装备建造项目的国产数字化调试完⼯应用 结构光体测量设备,来深度挖掘设计和建造 数据,打造孪⽣设计⼤数据库,穿透调试计划,串联供应链数据。 Ø 致⼒于建设⼀个安全、可控、软硬件⼀体的数字建造⼯业自动化软件应用平台,从设计到交付,发布全流程建造⼯程调试完 ⼯数字化, Ø 构建成套云计算架构下的⼯业软件平台,不仅可服务于豪华邮轮国产化建造,还可应用与数字化升级背景下的各项⼤型复杂 装备建造项目。 项目收益: 解决⽅案: 基于0 码力 | 36 页 | 4.25 MB | 1 年前3
AGI 趋势下的云原生数据计算系统个市场将长期保持快速增长态势。 01 中国AGI发展趋势 l InfoQ研究中心预计,2030年中国AGI应用市场规模将达到4543.6亿元人民币。 l 2024-2027中国AGI应用市场将经历过速启动期;每年市场增速都将超过100%,2028年起,市场将进入快速成长期,年市场增速保 持在50%以上。并于2027年突破千亿人民币市场规模。 l InfoQ研究中心认为,中国AGI应用市场规模发展 AIGC全生命周期管理 PieCloudML引擎设计 AIGC全生命周期管理 MaaS底座主流架构 AIGC全生命周期管理 AIGC应用组织 AIGC全生命周期管理 AIGC应用的全流程优化 AIGC全生命周期管理 AIGC应用最佳优化方案 案例分享 基于PieDataCS的用户案例实践,从基础的数据底座到 AIGC应用全场景覆盖。 04 案例分享 某大型央企的数据底座项目0 码力 | 26 页 | 2.84 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1................................................................................ 14 2.13 PDB 部署和启动 .................................................................................................. pv-postgres,请务必在运行脚本前删除它们: 1. kubectl delete pv pv-fdb pv-minio pv-postgres pv-etcd 2.13 PDB 部署和启动 在 master 节点,用 root 用户进入 PieCloudDB-2.1.1053-EnterpriseEdition 目录,执行如下命令: 1. ./deploy -c -e 10.24 进入集群界面,如果需要创建集群,点击右上角的 ,输入集群名、规格等信息即可。这里可以根据自身需求选择集群的规格大小,新 集群创建后会自动 启动并运行。 例如,“tom”创建了一个名为“cluster1”、规格大小 “medium” 的集群,启动后显示 。 2. 在集群界面可以更改集群“外部接入”的选项,并能查看集群的资源监控和集群详情。在右侧的0 码力 | 42 页 | 1.58 MB | 1 年前3
PieCloudDB 的云原生之路数据:云上数据既是隔离也是连通。从安全的角度是隔离,同时具 备数据共享的能力。 例如:投资管理系统和财务管理系统可以各自管理,按需分享。 计算:云上计算资源可以弹性分配。有查询计算任务的时候按需启动, 按照使用时间和规模计算成本,而不是购买大量服务器静置为不确定 的使用额外支付成本。 发现:在云上,对计算模型以更低成本提供指数级的存储和计算资源, 帮助甲方的业务模型发现新洞察或者提高精准度,从而建立竞争壁垒。 PieCloudDB 技术突破:数仓虚拟化 云原生存算分离架构 运用元数据-计算-数据分离的三层架构,实现云上存储资源 与计算资源的独立管理。云上计算资源可弹性分配,有查询 计算任务的时候按需启动,按照使用时间和规模计算成本。 eMPP 分布式专利技术 在云上,PieCloudDB 利用 eMPP(elastic Massive Parallel Processing)架构,实现多集群并发执行任务。企 Massive Parallel Processing 弹性大规模并行计算 ü 首创 eMPP 分布式技术实现云上弹性大规模并行计算 存算分离 云上计算资源可弹性 分配,有查询计算任 务的时候按需启动, 按照使用时间和规模 计算成本。 弹性计算 企业可灵活进行扩缩容,随 着负载的变化实现高效的伸 缩,轻松应对PB级海量数据。 多云部署 可根据客户需求在任何 IaaS云和裸硬件上安装。0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路数据:云上数据既是隔离也是连通。从安全的⾓度是隔离,同时具 备数据共享的能⼒。 例如:投资管理系统和财务管理系统可以各⾃管理,按需分享。 计算:云上计算资源可以弹性分配。有查询计算任务的时候按需启动, 按照使⽤时间和规模计算成本,⽽不是购买⼤量服务器静置为不确定 的使⽤额外⽀付成本。 发现:在云上,对计算模型以更低成本提供指数级的存储和计算资源, 帮助甲方的业务模型发现新洞察或者提高精准度,从⽽建⽴竞争壁垒。 e Cl oudDB技术突破:数仓虚拟化 云原生存算分离架构 运用元数据-计算-数据分离的三层架构,实现云上存储资源与 计算资源的独⽴管理。云上计算资源可弹性分配,有查询计 算任务的时候按需启动,按照使⽤时间和规模计算成本。 eMPP分布式专利技术 在云上,PieCloudDB利⽤eMPP(elastic Massive Parallel Processing)架构,实现多集群并发执行任务。企业可灵活 Parallel Processing 弹 性 大 规 模 并 行 计 算 ü 首创eMPP分布式技术实现云上弹性大规模并行计算 存算分离 云上计算资源可弹性 分配,有查询计算任 务的时候按需启动, 按照使用时间和规模 计算成本。 弹性计算 企业可灵活进行扩缩容,随 着负载的变化实现高效的伸 缩,轻松应对PB级海量数据。 多云部署 可根据客户需求在任何 IaaS云和裸硬件上安装。 可打通多云的数据管道,0 码力 | 44 页 | 1.64 MB | 1 年前3
PieCloudDB Database V2.1 版本说明元数据采集和分发,提升用户查询响 应时间,降低系统负载 • 简墨(JANM)动态分配读取文件增强 dispatch 性能:此优化将动态的分配要 读取的文件给各个执行节点,降低查询的启动代价。 • 原生格式存储:在 HDFS/NAS 系统上支持原生存储格式。 • 对 Orca 的支持:PieCloudDB 支持查询优化器 Orca。Orca 是一款开源的、基0 码力 | 3 页 | 257.15 KB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行,通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果,记录进度和错误信息 • INSERT/MERGE 模式 • INSERT 模式,支持单纯导入场景0 码力 | 29 页 | 5.24 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现数据库维护平台托管 ⾯向管理 多个维度轻松管控 PieCloudDB⽀持 • ⼀个数仓多个计算集群同时运⾏ • 针对不同⽤户业务负载或者不同场景,可以选择不同 集群进⾏数据计算 云原⽣平台⽀持 • 快速启动集群,随时可以关停,随时可以回收 • 结合集群操作记录,⽤户可以⽤最低的成本完成数据分析 云原⽣平台同时提供 • 根据⾓⾊访问模型设计的权限系统,所⻅即可管 • ⽆论是平台功能还是数据库权限都可以在平台操作0 码力 | 31 页 | 1.43 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现rights reserved. OpenPie Confidential • 在 AP 场景下,像使用 postgres 一样使用 PieCloudDB • 只为已经发生的计算和存储付费 • 按需启动的关闭多个不同大小的集群,以适应不同类型的任务 • 取得性能和开发效率的高度平衡 @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 43 页 | 1.14 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCSB 技 术 突 破 : 数 仓 虚 拟 化 云原生存算分离架构 运用元数据-计算-数据分离的三层架构,实现云上存储资源与 计算资源的独立管理。云上计算资源可弹性分配,有查询计算 任务的时候按需启动,按照使用时间和规模计算成本。 eMPP分布式专利技术 在云上,PieCloudDB利用eMPP(elastic Massive Parallel Processing)架构,实现多集群并发执行任务。企0 码力 | 29 页 | 7.46 MB | 1 年前3
共 13 条
- 1
- 2













