 兼容龙蜥的云原生大模型数据计算系统:πDataCS… 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题,是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下,开发分布 式程序,以一种可靠、高效、可伸缩的方式进行数据处理。 私有云 Graph Parallel Computing Machine Learning Large Language Models … 简 墨 (JANM) 存 储 统一 Catalog|统一数据格式|一份数据多引擎计算 Parquet πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) Orc … Mundo 元数据管理系统 计算引擎之PieCloudM 国家医疗健康大数据 (大模型)机器学习 数据存储|虚拟数仓|特定领域(如神经网络) 统一数据格式 虚拟数仓服务HTAP|点查 向量数据计算 兼容主流云存储格式和协议 私有云 统一Catalog 一份数据多引擎计算 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生Serverless架构 ü 第三方计费模式 ü 持续产品升级,体验产品最新特性0 码力 | 29 页 | 7.46 MB | 1 年前3 兼容龙蜥的云原生大模型数据计算系统:πDataCS… 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题,是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下,开发分布 式程序,以一种可靠、高效、可伸缩的方式进行数据处理。 私有云 Graph Parallel Computing Machine Learning Large Language Models … 简 墨 (JANM) 存 储 统一 Catalog|统一数据格式|一份数据多引擎计算 Parquet πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) Orc … Mundo 元数据管理系统 计算引擎之PieCloudM 国家医疗健康大数据 (大模型)机器学习 数据存储|虚拟数仓|特定领域(如神经网络) 统一数据格式 虚拟数仓服务HTAP|点查 向量数据计算 兼容主流云存储格式和协议 私有云 统一Catalog 一份数据多引擎计算 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生Serverless架构 ü 第三方计费模式 ü 持续产品升级,体验产品最新特性0 码力 | 29 页 | 7.46 MB | 1 年前3
 πDataCS赋能工业软件创新与实践… 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 优势1 :全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 同时 也兼容⼤数据。 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB--虚拟数仓引擎 Mundo Catalog 计算节点 JANM Table Format 管控节点 安全审计 API接⼝ ETL功能 数据洞察 运维管控 用户权限 NAS⽂件存储 HDFS分布式⽂件系统 S3对象存储 其他Data 机器学习 私有云 Graph Parallel Computing Machine Learning Large Language Models … 简 墨 (JANM) 存 储 统⼀ Catalog|统⼀数据格式|⼀份数据多引擎计算 Parquet πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) Orc … Mundo 元数据管理系统 计算引擎之PieCloudML0 码力 | 36 页 | 4.25 MB | 1 年前3 πDataCS赋能工业软件创新与实践… 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 优势1 :全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 同时 也兼容⼤数据。 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB--虚拟数仓引擎 Mundo Catalog 计算节点 JANM Table Format 管控节点 安全审计 API接⼝ ETL功能 数据洞察 运维管控 用户权限 NAS⽂件存储 HDFS分布式⽂件系统 S3对象存储 其他Data 机器学习 私有云 Graph Parallel Computing Machine Learning Large Language Models … 简 墨 (JANM) 存 储 统⼀ Catalog|统⼀数据格式|⼀份数据多引擎计算 Parquet πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) Orc … Mundo 元数据管理系统 计算引擎之PieCloudML0 码力 | 36 页 | 4.25 MB | 1 年前3
 如何从零开始参与技术社区?自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) Mundo元数据管理系统 统⼀Catalog 公有云 私有云 政务云 ⾏业云 信创云 • DataSharing 技术原⽣支持数据要素流转 • TimeTraveling 等技术有效组织数据配合⼤模型精调 @2024 OpenPie with other database features? • How will error conditions be handled? • Are there any system catalog changes? • Are there any dump/restore issues? If so, fix pg_dump. • Does psql need to be modified0 码力 | 25 页 | 871.00 KB | 1 年前3 如何从零开始参与技术社区?自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) Mundo元数据管理系统 统⼀Catalog 公有云 私有云 政务云 ⾏业云 信创云 • DataSharing 技术原⽣支持数据要素流转 • TimeTraveling 等技术有效组织数据配合⼤模型精调 @2024 OpenPie with other database features? • How will error conditions be handled? • Are there any system catalog changes? • Are there any dump/restore issues? If so, fix pg_dump. • Does psql need to be modified0 码力 | 25 页 | 871.00 KB | 1 年前3
 PieCloudDB:基于PostgreSQL的eMPP云原生数据库FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序 实现索引 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 使用和 Postgres0 码力 | 45 页 | 1.32 MB | 1 年前3 PieCloudDB:基于PostgreSQL的eMPP云原生数据库FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序 实现索引 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 使用和 Postgres0 码力 | 45 页 | 1.32 MB | 1 年前3
 PieCloudDB 的云原生之路... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment Segment Segment Segment 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 元数据管理的设计目标 IvorySQL开源数据库社区 mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序实 现索引 IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3 PieCloudDB 的云原生之路... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment Segment Segment Segment 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 元数据管理的设计目标 IvorySQL开源数据库社区 mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序实 现索引 IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3
 PieCloudDB云原生数仓虚拟化之路... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment Segment Segment Segment • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序 实现索引 @2022 OpenPie0 码力 | 44 页 | 1.64 MB | 1 年前3 PieCloudDB云原生数仓虚拟化之路... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment Segment Segment Segment • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB 使用 FoundationDB Key 的自然排序 实现索引 @2022 OpenPie0 码力 | 44 页 | 1.64 MB | 1 年前3
 PieCloudDB Database V2.8 Release Note等)的表,这些 表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录(catalog)信息,在每个虚 拟数仓中,只有一个目录信息副本从协调节点分发,并共享给所有 Slices/Backends。 n 支持在 PieCloudDB 全局缓存系统中添加本地缓存。 l0 码力 | 4 页 | 144.49 KB | 1 年前3 PieCloudDB Database V2.8 Release Note等)的表,这些 表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录(catalog)信息,在每个虚 拟数仓中,只有一个目录信息副本从协调节点分发,并共享给所有 Slices/Backends。 n 支持在 PieCloudDB 全局缓存系统中添加本地缓存。 l0 码力 | 4 页 | 144.49 KB | 1 年前3
 PieCloudDB Database 产品白皮书 由于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。 此外,PieCloudDB 提供的独立的元数据服务 (Catalog Service) 保证元数据存取的效率和高可用性。PieCloudDB 元 数据采用分布式 KV 存储管理,具有完备的高可用方案。在 PieCloudDB 中,每份元数据都将以多副本的形式分散到多0 码力 | 17 页 | 2.68 MB | 1 年前3 PieCloudDB Database 产品白皮书 由于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。 此外,PieCloudDB 提供的独立的元数据服务 (Catalog Service) 保证元数据存取的效率和高可用性。PieCloudDB 元 数据采用分布式 KV 存储管理,具有完备的高可用方案。在 PieCloudDB 中,每份元数据都将以多副本的形式分散到多0 码力 | 17 页 | 2.68 MB | 1 年前3
 云原生虚拟数仓PieCloudDB Database产品白皮书于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。 此外,PieCloudDB 提供的独立的元数据服务(Catalog Service)保证元数据存取的效率和高可用性。 PieCloudDB 元 数据采用分布式 KV 存储管理,具有完备的高可用方案。在 PieCloudDB 中,每份元数据都将以多副本的形式分散到多0 码力 | 17 页 | 2.02 MB | 1 年前3 云原生虚拟数仓PieCloudDB Database产品白皮书于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。 此外,PieCloudDB 提供的独立的元数据服务(Catalog Service)保证元数据存取的效率和高可用性。 PieCloudDB 元 数据采用分布式 KV 存储管理,具有完备的高可用方案。在 PieCloudDB 中,每份元数据都将以多副本的形式分散到多0 码力 | 17 页 | 2.02 MB | 1 年前3
 PieCloudDB Database 云原生平台用户手册社区版V2.1��������������������������� PieCloudDB �������������������������Account Manager���� ����User Manager���������DB Manager��������Public������� ������������������������������������������� ������������������Public��0 码力 | 69 页 | 4.35 MB | 1 年前3 PieCloudDB Database 云原生平台用户手册社区版V2.1��������������������������� PieCloudDB �������������������������Account Manager���� ����User Manager���������DB Manager��������Public������� ������������������������������������������� ������������������Public��0 码力 | 69 页 | 4.35 MB | 1 年前3
共 11 条
- 1
- 2













