 PieCloudDB Database 产品白皮书 服务器为单位,通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1 录。数据计算时,所有机器同时并行计算,理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ,节省了海量数据的处理时间。 传统数据仓库架构 然而,随着数据量的不断尝升,企业对数据仓库的要求也越来越高,在使用过程中,传统 MPP 数据库解决方案迎来 了一系列的瓶颈: 传统数据仓库的计算和存情是| 路线,采用领先的数仓 虚拟化技术,可将多个数仓统一整合到一个高可用的云虚拟数仓,打通多云的数据管道,数据计算资源按需扩缩容, 提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级增加可计算数据空间的同时,数量级降低数仓 成本,打开无限数据计算空间,推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless)及TDE等多项核心技术加持下,为企业构建高安全,高可靠,高在线 量的计算节点池,按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵向以及集群级别的弹性伸缩。用户可以灵活考虑业务和数据量的变化,, 动态油整 pieCloudDB 集群中计算节点的数量和虚拟数仓的数量,用最适合的资源量来满足其业务需求。 ,。 高可用能力 pieCloudDB 实现了元数据、计算、存储等三层架构,计算节点不存储用户数据,是无状态的。当计算节点发生故障 时,PieCloudDB0 码力 | 17 页 | 2.68 MB | 1 年前3 PieCloudDB Database 产品白皮书 服务器为单位,通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1 录。数据计算时,所有机器同时并行计算,理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ,节省了海量数据的处理时间。 传统数据仓库架构 然而,随着数据量的不断尝升,企业对数据仓库的要求也越来越高,在使用过程中,传统 MPP 数据库解决方案迎来 了一系列的瓶颈: 传统数据仓库的计算和存情是| 路线,采用领先的数仓 虚拟化技术,可将多个数仓统一整合到一个高可用的云虚拟数仓,打通多云的数据管道,数据计算资源按需扩缩容, 提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级增加可计算数据空间的同时,数量级降低数仓 成本,打开无限数据计算空间,推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless)及TDE等多项核心技术加持下,为企业构建高安全,高可靠,高在线 量的计算节点池,按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵向以及集群级别的弹性伸缩。用户可以灵活考虑业务和数据量的变化,, 动态油整 pieCloudDB 集群中计算节点的数量和虚拟数仓的数量,用最适合的资源量来满足其业务需求。 ,。 高可用能力 pieCloudDB 实现了元数据、计算、存储等三层架构,计算节点不存储用户数据,是无状态的。当计算节点发生故障 时,PieCloudDB0 码力 | 17 页 | 2.68 MB | 1 年前3
 云原生虚拟数仓PieCloudDB Database产品白皮书和计算。假设一个宽表有3亿条记录, MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时,所有机器同时并行计算,理论上最高可以 把计算时间降低到单机部署的 1/n(n为机器数量),节省了海量数据的处理时间。 传统数据仓库的计算和存储是紧密耦合的,计算资源和存储资源按某一比例强绑定,因此用户在扩容时,必须同时扩 容计算资源和存储资源,在扩缩容、运维、迁移上都存在一定的 到云原生数据计算平台,根据数据授权动态创建虚拟数仓,按需灵活计算,打破数据孤岛,支撑更大模型所需的数据 和计算。在云上,数据计算资源按需扩缩容,提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级 增加可计算数据空间的同时,数量级降低数仓成本,打开无限数据计算空间,推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式专利技术、服务器无感知(Serverless)及TDE(透明数据加密)等多项核心技术加持下,为企业构建 量的计算节点池,按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵向以及集群级别的弹性伸缩。用户可以灵活考虑业务和数据量的变化, 动态调整 PieCloudDB 集群中计算节点的数量和虚拟数仓的数量,用最适合的资源量来满足其业务需求。 PieCloudDB 实现了元数据、计算、存储等三层架构,计算节点不存储用户数据,是无状态的。当计算节点发生故障 时,PieCloudDB 会自动0 码力 | 17 页 | 2.02 MB | 1 年前3 云原生虚拟数仓PieCloudDB Database产品白皮书和计算。假设一个宽表有3亿条记录, MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时,所有机器同时并行计算,理论上最高可以 把计算时间降低到单机部署的 1/n(n为机器数量),节省了海量数据的处理时间。 传统数据仓库的计算和存储是紧密耦合的,计算资源和存储资源按某一比例强绑定,因此用户在扩容时,必须同时扩 容计算资源和存储资源,在扩缩容、运维、迁移上都存在一定的 到云原生数据计算平台,根据数据授权动态创建虚拟数仓,按需灵活计算,打破数据孤岛,支撑更大模型所需的数据 和计算。在云上,数据计算资源按需扩缩容,提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级 增加可计算数据空间的同时,数量级降低数仓成本,打开无限数据计算空间,推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式专利技术、服务器无感知(Serverless)及TDE(透明数据加密)等多项核心技术加持下,为企业构建 量的计算节点池,按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵向以及集群级别的弹性伸缩。用户可以灵活考虑业务和数据量的变化, 动态调整 PieCloudDB 集群中计算节点的数量和虚拟数仓的数量,用最适合的资源量来满足其业务需求。 PieCloudDB 实现了元数据、计算、存储等三层架构,计算节点不存储用户数据,是无状态的。当计算节点发生故障 时,PieCloudDB 会自动0 码力 | 17 页 | 2.02 MB | 1 年前3
 πDataCS赋能工业软件创新与实践Host 2 Executor Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 : 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打破数据孤岛,消除数据多副本 @2024 OpenPie. All rights reserved 创建虚 拟数仓; 2. 虚拟数仓是由执⾏器和协调器等资源组成,协调器和执⾏器在操作系统 层面来看,他们就是⼀个个的进程,这些进程分布在不同的计算节点上; 3. 如图中示例,业务应用的计算任务数量增加或需要处理的数据量变⼤, 对应的计算资源(主要是CPU、MEM)也会增加,根据计算资源需求, 虚拟数仓可以在线弹性的扩缩容,在此图示例中,执⾏器可以从原来的3 个变成4个,缩容也是同样的原理; ⼤ 型 汽 车 集 团 全 面 升 级 ⼤ 数 据 平 台 ⾄ 云 原 ⽣ π D a t a C S 项目背景: 该企业依托于集团内部需求,建设了⼀个云平台,提供基础设施服务。随着⼦公司接⼊的数量越来越多,数据量也急剧增长, 原本采用的Hadoop平台⽆法满⾜业务的分析需求,主要存在以下问题: Ø 数据同步和采集周期较长,实时性很差 Ø 数据量达到PB级别,数据分析性能直线下降 Ø0 码力 | 36 页 | 4.25 MB | 1 年前3 πDataCS赋能工业软件创新与实践Host 2 Executor Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 : 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打破数据孤岛,消除数据多副本 @2024 OpenPie. All rights reserved 创建虚 拟数仓; 2. 虚拟数仓是由执⾏器和协调器等资源组成,协调器和执⾏器在操作系统 层面来看,他们就是⼀个个的进程,这些进程分布在不同的计算节点上; 3. 如图中示例,业务应用的计算任务数量增加或需要处理的数据量变⼤, 对应的计算资源(主要是CPU、MEM)也会增加,根据计算资源需求, 虚拟数仓可以在线弹性的扩缩容,在此图示例中,执⾏器可以从原来的3 个变成4个,缩容也是同样的原理; ⼤ 型 汽 车 集 团 全 面 升 级 ⼤ 数 据 平 台 ⾄ 云 原 ⽣ π D a t a C S 项目背景: 该企业依托于集团内部需求,建设了⼀个云平台,提供基础设施服务。随着⼦公司接⼊的数量越来越多,数据量也急剧增长, 原本采用的Hadoop平台⽆法满⾜业务的分析需求,主要存在以下问题: Ø 数据同步和采集周期较长,实时性很差 Ø 数据量达到PB级别,数据分析性能直线下降 Ø0 码力 | 36 页 | 4.25 MB | 1 年前3
 PieCloudDB 的云原生之路虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table IvorySQL开源数据库社区 02 分布式引擎 IvorySQL开源数据库社区 计算 • MPP o 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 IvorySQL开源数据库社区 计算 • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费0 码力 | 47 页 | 1.80 MB | 1 年前3 PieCloudDB 的云原生之路虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table IvorySQL开源数据库社区 02 分布式引擎 IvorySQL开源数据库社区 计算 • MPP o 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 IvorySQL开源数据库社区 计算 • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费0 码力 | 47 页 | 1.80 MB | 1 年前3
 PieCloudDB云原生数仓虚拟化之路虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table reserved. OpenPie Confidential 计算 • MPP • 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 44 页 | 1.64 MB | 1 年前3 PieCloudDB云原生数仓虚拟化之路虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table reserved. OpenPie Confidential 计算 • MPP • 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 44 页 | 1.64 MB | 1 年前3
 兼容龙蜥的云原生大模型数据计算系统:πDataCSHost 2 Executor Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 : 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打 破 数 据 孤 岛 , 消 除 数 据 多 副 本 PieCloudDB云原生虚拟数仓0 码力 | 29 页 | 7.46 MB | 1 年前3 兼容龙蜥的云原生大模型数据计算系统:πDataCSHost 2 Executor Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 : 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打 破 数 据 孤 岛 , 消 除 数 据 多 副 本 PieCloudDB云原生虚拟数仓0 码力 | 29 页 | 7.46 MB | 1 年前3
 PieCloudDB:基于PostgreSQL的eMPP云原生数据库reserved. OpenPie Confidential 计算 • MPP • 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 45 页 | 1.32 MB | 1 年前3 PieCloudDB:基于PostgreSQL的eMPP云原生数据库reserved. OpenPie Confidential 计算 • MPP • 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 45 页 | 1.32 MB | 1 年前3
共 7 条
- 1













