 PieCloudDB Database 产品白皮书 PiecloudDB 产品架构 pieCloudDB 整体架构分为三个层次,包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层为 pieCloudDB 提供计算资源、存储资源和网络资源,PieCloudDB 支持部署在物理服务器、庶拟机以及容 器中,同时也提供 PieCloudDB 公有云 Saa5 服务。 * ”数据处理层 PieCloudDB 核心服务层,提供了并行数 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析,提供标准的 SQL 接口,且内置各种分析工 具,并原生兼容 Postgres 生态,可以很好地处理地理信息数据和文本,未来会扩展其他 Ap| 接口,支持常见的数仓的 数据分析和人工智能、数据科学等功能。 Openl SN Pie | PiecloudDB 基于 eMPP (弹性大规模并行计算) Analyze,可以在数据发生变化的时候自动完成Analyze,及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-D5 等测试,实现 了包括聚集下准、Block Skipping0 码力 | 17 页 | 2.68 MB | 1 年前3 PieCloudDB Database 产品白皮书 PiecloudDB 产品架构 pieCloudDB 整体架构分为三个层次,包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层为 pieCloudDB 提供计算资源、存储资源和网络资源,PieCloudDB 支持部署在物理服务器、庶拟机以及容 器中,同时也提供 PieCloudDB 公有云 Saa5 服务。 * ”数据处理层 PieCloudDB 核心服务层,提供了并行数 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析,提供标准的 SQL 接口,且内置各种分析工 具,并原生兼容 Postgres 生态,可以很好地处理地理信息数据和文本,未来会扩展其他 Ap| 接口,支持常见的数仓的 数据分析和人工智能、数据科学等功能。 Openl SN Pie | PiecloudDB 基于 eMPP (弹性大规模并行计算) Analyze,可以在数据发生变化的时候自动完成Analyze,及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-D5 等测试,实现 了包括聚集下准、Block Skipping0 码力 | 17 页 | 2.68 MB | 1 年前3
 云原生虚拟数仓PieCloudDB Database产品白皮书PieCloudDB 产品架构 PieCloudDB 整体架构分为三个层次,包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层 基础设施层为 PieCloudDB 提供计算资源、存储资源和网络资源,PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中,同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层,提供了并 限管控等能力; 数据应用层: 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析,提供标准的 SQL 接口,且内置各种分析工 具,并原生兼容 Postgres 生态,可以很好地处理地理信息数据和文本,未来会扩展其他 API 接口,支持常见的数仓的 数据分析和人工智能、数据科学等功能。 PieCloudDB 产品概述 拓数派旗下旗舰产品PieCloudDB Analyze,可以在数据发生变化的时候自动完成Analyze,及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-DS 等测试,实现 了包括聚集下推、Block0 码力 | 17 页 | 2.02 MB | 1 年前3 云原生虚拟数仓PieCloudDB Database产品白皮书PieCloudDB 产品架构 PieCloudDB 整体架构分为三个层次,包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层 基础设施层为 PieCloudDB 提供计算资源、存储资源和网络资源,PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中,同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层,提供了并 限管控等能力; 数据应用层: 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析,提供标准的 SQL 接口,且内置各种分析工 具,并原生兼容 Postgres 生态,可以很好地处理地理信息数据和文本,未来会扩展其他 API 接口,支持常见的数仓的 数据分析和人工智能、数据科学等功能。 PieCloudDB 产品概述 拓数派旗下旗舰产品PieCloudDB Analyze,可以在数据发生变化的时候自动完成Analyze,及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-DS 等测试,实现 了包括聚集下推、Block0 码力 | 17 页 | 2.02 MB | 1 年前3
 兼容龙蜥的云原生大模型数据计算系统:πDataCS向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题,是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下,开发分布 场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 生态完善,支持主流的开发语言和数据科学工具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接口和API,完成各种复杂场景的数据 处理,业务开发周期短,现存的代码基本可以无缝迁移和复用。 国内自主研发,具备社区版、商业版以及云SaaS服务,与国产软硬件完美兼容, 属于信创产业。支持公有云 应对PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多层 缓存结构,避免网络延迟和数据移动,提高计算效率,保证用 户的实时性需求。PieCloudDB针对底层对象存储设计了高效的 文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能高效地生成统计信息,并生成更高效 的查询计划,达奇优化器支持聚集下推,预计算,Block0 码力 | 29 页 | 7.46 MB | 1 年前3 兼容龙蜥的云原生大模型数据计算系统:πDataCS向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题,是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下,开发分布 场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 生态完善,支持主流的开发语言和数据科学工具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接口和API,完成各种复杂场景的数据 处理,业务开发周期短,现存的代码基本可以无缝迁移和复用。 国内自主研发,具备社区版、商业版以及云SaaS服务,与国产软硬件完美兼容, 属于信创产业。支持公有云 应对PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多层 缓存结构,避免网络延迟和数据移动,提高计算效率,保证用 户的实时性需求。PieCloudDB针对底层对象存储设计了高效的 文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能高效地生成统计信息,并生成更高效 的查询计划,达奇优化器支持聚集下推,预计算,Block0 码力 | 29 页 | 7.46 MB | 1 年前3
 云原生数据库 PieCloudDB : Unbreakable 安全特性剖析• 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 加密模块 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求0 码力 | 34 页 | 599.00 KB | 1 年前3 云原生数据库 PieCloudDB : Unbreakable 安全特性剖析• 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 加密模块 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求0 码力 | 34 页 | 599.00 KB | 1 年前3
 PieCloudDB Database V2.8 Release Note数,为每个 JANM 文件 节省 CPU 和元数据大小。默认值为 32,与 INDEX_MAX_KEYS 相同。 3 l 外表 FDW 相关 n 新增 raw_fdw 外表接口,支持在协调节点和工作节点上执行,以原始字 节(bytea)读取文件。 n 为外表启用部分聚合能力,支持并行聚集下推。 n 新增 fdb_max_retry(替代原 MaxRetry 功能),默认值设置为 制临时表的数据文件溢出到远 端存储。 n 支持 autovacuum 清理孤立的临时表。 l pgaudit 插件 支持使用 pgaudit 插件生成审计日志。 l Kafka 接口 n 支持获取 Kafka FDW 统计数据。 n Kafka FDW 支持 JSON 格式。 l 执行计划信息 支持在 EXPLAIN ANALYZE VERBOSE 执行结果中显示调度相关状态信息。0 码力 | 4 页 | 144.49 KB | 1 年前3 PieCloudDB Database V2.8 Release Note数,为每个 JANM 文件 节省 CPU 和元数据大小。默认值为 32,与 INDEX_MAX_KEYS 相同。 3 l 外表 FDW 相关 n 新增 raw_fdw 外表接口,支持在协调节点和工作节点上执行,以原始字 节(bytea)读取文件。 n 为外表启用部分聚合能力,支持并行聚集下推。 n 新增 fdb_max_retry(替代原 MaxRetry 功能),默认值设置为 制临时表的数据文件溢出到远 端存储。 n 支持 autovacuum 清理孤立的临时表。 l pgaudit 插件 支持使用 pgaudit 插件生成审计日志。 l Kafka 接口 n 支持获取 Kafka FDW 统计数据。 n Kafka FDW 支持 JSON 格式。 l 执行计划信息 支持在 EXPLAIN ANALYZE VERBOSE 执行结果中显示调度相关状态信息。0 码力 | 4 页 | 144.49 KB | 1 年前3
 大模型时代下向量数据库的设计与应用(filtered) P2 (filtered) 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息,并将它们关联起来 • 对向量数据建立索引,可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发,为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发,为其开发向量搜索及索引算法 PieCloudVector 使用faiss开源算法库做为向量搜索引擎 • 支持二进制索引 • 支持多级索引如HNSW+IVF等 • CPU多核并行/GPU加速 PieCloudVector • Faiss与postgres内核对接 - 基础接口 • 增加向量列类型用于基本的加载与卸载 • 实现向量距离运算符 • 实现向量近似搜索的索引,调用faiss PieCloudVector • Faiss与postgres内核对接 - 数据可见性0 码力 | 28 页 | 1.69 MB | 1 年前3 大模型时代下向量数据库的设计与应用(filtered) P2 (filtered) 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息,并将它们关联起来 • 对向量数据建立索引,可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发,为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发,为其开发向量搜索及索引算法 PieCloudVector 使用faiss开源算法库做为向量搜索引擎 • 支持二进制索引 • 支持多级索引如HNSW+IVF等 • CPU多核并行/GPU加速 PieCloudVector • Faiss与postgres内核对接 - 基础接口 • 增加向量列类型用于基本的加载与卸载 • 实现向量距离运算符 • 实现向量近似搜索的索引,调用faiss PieCloudVector • Faiss与postgres内核对接 - 数据可见性0 码力 | 28 页 | 1.69 MB | 1 年前3
 PieCloudDB 的云原生之路轻松应对 PB 级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多 层缓存结构,避免网络延迟和数据移动,提高计算效率,保 证用户的实时性需求。PieCloudDB 针对底层对象存储设计了 高效的文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 可以更智能高效地生成统计信息,并生成更高 效的查询计划, 可根据客户需求在任何 IaaS云和裸硬件上安装。 可打通多云的数据管道, 解锁对特定IaaS云的依赖 并获得云资源议价权。 实时处理 在计算层,各个计算节点针对元数据和用 户数据都设计了多层缓存结构,避免网络 延迟和数据移动,提高计算效率,保证用 户的实时性需求。 数据安全 PieCloudDB 提供企 业级透明数据加密。 运用实时加密,高强 度算法,多级密钥等 技术保护数据安全。 IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3 PieCloudDB 的云原生之路轻松应对 PB 级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多 层缓存结构,避免网络延迟和数据移动,提高计算效率,保 证用户的实时性需求。PieCloudDB 针对底层对象存储设计了 高效的文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 可以更智能高效地生成统计信息,并生成更高 效的查询计划, 可根据客户需求在任何 IaaS云和裸硬件上安装。 可打通多云的数据管道, 解锁对特定IaaS云的依赖 并获得云资源议价权。 实时处理 在计算层,各个计算节点针对元数据和用 户数据都设计了多层缓存结构,避免网络 延迟和数据移动,提高计算效率,保证用 户的实时性需求。 数据安全 PieCloudDB 提供企 业级透明数据加密。 运用实时加密,高强 度算法,多级密钥等 技术保护数据安全。 IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3
 云原生虚拟数仓 PieCloudDB ETL 方案设计与实现-> PieCloudDB 增量数据实时 cdc 演示 01 02 03 04 eMPP架构 存算分离,元数据/缓存/计算/云存储 01 02 03 04 各模块可以独立伸缩,模块间接口统一 每一组计算节点组成一个集群,多集群共享 元数据和存储系统 计算节点高度并行 05 兼容 PostgreSQL 生态 PieCloudDB eMPP 分布式架构 导出 (Extract)0 码力 | 29 页 | 5.24 MB | 1 年前3 云原生虚拟数仓 PieCloudDB ETL 方案设计与实现-> PieCloudDB 增量数据实时 cdc 演示 01 02 03 04 eMPP架构 存算分离,元数据/缓存/计算/云存储 01 02 03 04 各模块可以独立伸缩,模块间接口统一 每一组计算节点组成一个集群,多集群共享 元数据和存储系统 计算节点高度并行 05 兼容 PostgreSQL 生态 PieCloudDB eMPP 分布式架构 导出 (Extract)0 码力 | 29 页 | 5.24 MB | 1 年前3
 云原生数据库 PieCloudDB eMPP架构设计与实现计算、存储:按需付费 • 智能管理,复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别:RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口(websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源(横向纵向)、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据(如按需付费的对象存储)0 码力 | 31 页 | 1.43 MB | 1 年前3 云原生数据库 PieCloudDB eMPP架构设计与实现计算、存储:按需付费 • 智能管理,复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别:RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口(websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源(横向纵向)、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据(如按需付费的对象存储)0 码力 | 31 页 | 1.43 MB | 1 年前3
 PieCloudDB:基于PostgreSQL的eMPP云原生数据库reserved. OpenPie Confidential PieCloudDB 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口(WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源(横向和纵向)、极速调整 • 共享用户数据(典型如廉价对象存储) • 共享元数据 • MPP架构:分布式,海量数据并行处理0 码力 | 45 页 | 1.32 MB | 1 年前3 PieCloudDB:基于PostgreSQL的eMPP云原生数据库reserved. OpenPie Confidential PieCloudDB 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口(WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源(横向和纵向)、极速调整 • 共享用户数据(典型如廉价对象存储) • 共享元数据 • MPP架构:分布式,海量数据并行处理0 码力 | 45 页 | 1.32 MB | 1 年前3
共 12 条
- 1
- 2













