 PieCloudDB Database V2.1 版本说明Release Note 版本号:V2.1 发布日期:2022 年 10 月 内 核 • 聚集下推功能得到增强:通过把聚集操作下推到连接操作之前去执行,极大的减 少连接操作需要处理的数据量,使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制:数据库运行查询语句时,通过计算每个块 (block)中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性 稳定性优化: o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理,增强安全能力 o 一键部署优化 • 数据洞察优化: o SQL 结果页面 UI 更新,界面更加简洁优雅。优化超长结果显示,可支持选中结 果直接复制 o 支持执行请求时自由切入/切出页面,不影响用户进行其他操作 o 支持快捷键执行请求 o 支持 sql 文本查找/替换0 码力 | 3 页 | 257.15 KB | 1 年前3 PieCloudDB Database V2.1 版本说明Release Note 版本号:V2.1 发布日期:2022 年 10 月 内 核 • 聚集下推功能得到增强:通过把聚集操作下推到连接操作之前去执行,极大的减 少连接操作需要处理的数据量,使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制:数据库运行查询语句时,通过计算每个块 (block)中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性 稳定性优化: o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理,增强安全能力 o 一键部署优化 • 数据洞察优化: o SQL 结果页面 UI 更新,界面更加简洁优雅。优化超长结果显示,可支持选中结 果直接复制 o 支持执行请求时自由切入/切出页面,不影响用户进行其他操作 o 支持快捷键执行请求 o 支持 sql 文本查找/替换0 码力 | 3 页 | 257.15 KB | 1 年前3
 PieCloudDB Database 社区版集群安装部署手册 V2.1PieCloudDB Database 社区版集群部署和使用手册 版本:V2.1 2023 年 03 月 08 日 目录 1. 集群规划 .......................................................................................................... ......................................................................................... 5 2.3 更新系统包和依赖包 ........................................................................................... ........................................................................................ 16 3.2 更新系统包和依赖包 ...........................................................................................0 码力 | 42 页 | 1.58 MB | 1 年前3 PieCloudDB Database 社区版集群安装部署手册 V2.1PieCloudDB Database 社区版集群部署和使用手册 版本:V2.1 2023 年 03 月 08 日 目录 1. 集群规划 .......................................................................................................... ......................................................................................... 5 2.3 更新系统包和依赖包 ........................................................................................... ........................................................................................ 16 3.2 更新系统包和依赖包 ...........................................................................................0 码力 | 42 页 | 1.58 MB | 1 年前3
 PieCloudDB Database 产品白皮书 元数据往往都是一样的。这种情况下,很多元数据 会在不同集群间存在不一致的版本信息。此外,如果企业需要做跨集群的访问,往往非常困难,会造成数据孤岛的存 在。 运维成本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迁代迅速,相关人员需保持积极的知识更新意识。根关人才市场较小,人才芽乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 PieCloudDB 核心服务层,提供了并行数据处理能力,拥有元数据节点、计算节点、存储节点以及云原生平台节点等 共四种角色,具体说明如下: 1. 元数据节点; 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ,主要负责接收用户请求和数据计算,支持 动态弹性伸缩,提供数据查询 (elastic MPP) 所特有的弹性、高性能,可以轻松应对 PB 级海量 数据,服务之间互相独立,从而对应用或服务提供了更多层的安全保护,也实现了更多的容错服务。其高度自动化的 运维工具支持业务应用更加频繁地更新,赋予企业更强大的敏捷迁代能力。 * 降低数仓硬件和管理成本 将多个数仓归并至云虚拟数仓,打破传统数仓场景下数据孤岛,解决数据多副本问题,帮助企业降低数仓管理复杂 度,以更低的成本实现存算资源在云上更灵活的配置。0 码力 | 17 页 | 2.68 MB | 1 年前3 PieCloudDB Database 产品白皮书 元数据往往都是一样的。这种情况下,很多元数据 会在不同集群间存在不一致的版本信息。此外,如果企业需要做跨集群的访问,往往非常困难,会造成数据孤岛的存 在。 运维成本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迁代迅速,相关人员需保持积极的知识更新意识。根关人才市场较小,人才芽乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 PieCloudDB 核心服务层,提供了并行数据处理能力,拥有元数据节点、计算节点、存储节点以及云原生平台节点等 共四种角色,具体说明如下: 1. 元数据节点; 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ,主要负责接收用户请求和数据计算,支持 动态弹性伸缩,提供数据查询 (elastic MPP) 所特有的弹性、高性能,可以轻松应对 PB 级海量 数据,服务之间互相独立,从而对应用或服务提供了更多层的安全保护,也实现了更多的容错服务。其高度自动化的 运维工具支持业务应用更加频繁地更新,赋予企业更强大的敏捷迁代能力。 * 降低数仓硬件和管理成本 将多个数仓归并至云虚拟数仓,打破传统数仓场景下数据孤岛,解决数据多副本问题,帮助企业降低数仓管理复杂 度,以更低的成本实现存算资源在云上更灵活的配置。0 码力 | 17 页 | 2.68 MB | 1 年前3
 云原生虚拟数仓PieCloudDB Database产品白皮书都是一样的。这种情况下,很多元数据 会在不同集群间存在不一致的版本信息。此外,如果企业需要做跨集群的访问,往往非常困难,会造成数据孤岛的存 在。 运 维 成 本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迭代迅速,相关人员需保持积极的知识更新意识。相关人才市场较小,人才匮乏。高昂的学习成本造 成用户使用过 、计算节点、存储节点以及云原生管控平台节 点等共四种角色,具体说明如下: 1. 元数据节点: 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点(包括 Coordinator 和 Executer),主要负责接收用户请求和数据计算,支持 eMPP(elastic MPP)所特有的弹性、高性能,可以轻松应对 PB 级海量 数据,服务之间互相独立,从而对应用或服务提供了更多层的安全保护,也实现了更多的容错服务。其高度自动化的 运维工具支持业务应用更加频繁地更新,赋予企业更强大的敏捷迭代能力。 将多个数仓归并至云虚拟数仓,打破传统数仓场景下数据孤岛,解决数据多副本问题,帮助企业降低数仓管理复杂 度,以更低的成本实现存算资源在云上更灵活的配置。 150 码力 | 17 页 | 2.02 MB | 1 年前3 云原生虚拟数仓PieCloudDB Database产品白皮书都是一样的。这种情况下,很多元数据 会在不同集群间存在不一致的版本信息。此外,如果企业需要做跨集群的访问,往往非常困难,会造成数据孤岛的存 在。 运 维 成 本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迭代迅速,相关人员需保持积极的知识更新意识。相关人才市场较小,人才匮乏。高昂的学习成本造 成用户使用过 、计算节点、存储节点以及云原生管控平台节 点等共四种角色,具体说明如下: 1. 元数据节点: 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点(包括 Coordinator 和 Executer),主要负责接收用户请求和数据计算,支持 eMPP(elastic MPP)所特有的弹性、高性能,可以轻松应对 PB 级海量 数据,服务之间互相独立,从而对应用或服务提供了更多层的安全保护,也实现了更多的容错服务。其高度自动化的 运维工具支持业务应用更加频繁地更新,赋予企业更强大的敏捷迭代能力。 将多个数仓归并至云虚拟数仓,打破传统数仓场景下数据孤岛,解决数据多副本问题,帮助企业降低数仓管理复杂 度,以更低的成本实现存算资源在云上更灵活的配置。 150 码力 | 17 页 | 2.02 MB | 1 年前3
 PieCloudDB:云原生分布式虚拟数仓的诞生之旅(当前是FoundationDB) • Postgres⽣态 • 软件交付版本 • 社区版 (免费获取) • 企业版 • CoC(云上云)版(免费试⽤) @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 (cont.) • 2022年10.24发布1.0版本,技术和产品上实现了云原⽣. • 计算和存储分离:弹性计算 但今天会焦距数据库内核 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 (内核Only) • 第⼀步单机Postgres版本上实现存算分离 • 第⼆步分布式化 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 数据存储设计考虑 reserved. OpenPie Confidential 成⻓之路 (cont.) • 功能变强或者补全 • 海量数据修改增强. • 初步备份功能. • Vacuum增强. • 统计数据⾃动收集更新. • Spill to S3⽀持 • 临时表完全⽀持. • 各种异常处理增强. • …... • 稳定性. @2022 OpenPie. All rights reserved. OpenPie0 码力 | 24 页 | 2.01 MB | 1 年前3 PieCloudDB:云原生分布式虚拟数仓的诞生之旅(当前是FoundationDB) • Postgres⽣态 • 软件交付版本 • 社区版 (免费获取) • 企业版 • CoC(云上云)版(免费试⽤) @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 (cont.) • 2022年10.24发布1.0版本,技术和产品上实现了云原⽣. • 计算和存储分离:弹性计算 但今天会焦距数据库内核 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 (内核Only) • 第⼀步单机Postgres版本上实现存算分离 • 第⼆步分布式化 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 数据存储设计考虑 reserved. OpenPie Confidential 成⻓之路 (cont.) • 功能变强或者补全 • 海量数据修改增强. • 初步备份功能. • Vacuum增强. • 统计数据⾃动收集更新. • Spill to S3⽀持 • 临时表完全⽀持. • 各种异常处理增强. • …... • 稳定性. @2022 OpenPie. All rights reserved. OpenPie0 码力 | 24 页 | 2.01 MB | 1 年前3
 PieCloudDB:基于PostgreSQL的eMPP云原生数据库PieCloudDB 对几乎所有内核模块做了大量的创新 PieCloudDB 内核团队拥有强悍的Postgres内核代码掌控能力 • 将来会保持和Postgres内核大版本对齐 团队也拥有丰富的Postgres内核大版本升级合并经验 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 架构 @2022 OpenPie OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 基于 MVCC0 码力 | 45 页 | 1.32 MB | 1 年前3 PieCloudDB:基于PostgreSQL的eMPP云原生数据库PieCloudDB 对几乎所有内核模块做了大量的创新 PieCloudDB 内核团队拥有强悍的Postgres内核代码掌控能力 • 将来会保持和Postgres内核大版本对齐 团队也拥有丰富的Postgres内核大版本升级合并经验 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 架构 @2022 OpenPie OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 基于 MVCC0 码力 | 45 页 | 1.32 MB | 1 年前3
 云时代下多数据计算引擎的设计与实现S3/HDFS/Posix. • 架构:Share Nothing on share storage. • 丰富的外围产品支持. • 将来会支持单机和HTAP. Postgres生态 软件交付版本 (最新版本:v2.11) • 社区版 • 企业版 • CoC(云上云)版 @2024 OpenPie. All rights reserved. OpenPie Confidential @20240 码力 | 15 页 | 3.09 MB | 1 年前3 云时代下多数据计算引擎的设计与实现S3/HDFS/Posix. • 架构:Share Nothing on share storage. • 丰富的外围产品支持. • 将来会支持单机和HTAP. Postgres生态 软件交付版本 (最新版本:v2.11) • 社区版 • 企业版 • CoC(云上云)版 @2024 OpenPie. All rights reserved. OpenPie Confidential @20240 码力 | 15 页 | 3.09 MB | 1 年前3
 PieCloudDB 的云原生之路引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的 eMPP 云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布 PieCloudDB「云上云」版 云原生数仓虚拟化引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 01 元数据管理 IvorySQL开源数据库社区 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 元数据管理的设计目标 IvorySQL开源数据库社区 mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储0 码力 | 47 页 | 1.80 MB | 1 年前3 PieCloudDB 的云原生之路引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的 eMPP 云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布 PieCloudDB「云上云」版 云原生数仓虚拟化引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 01 元数据管理 IvorySQL开源数据库社区 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 元数据管理的设计目标 IvorySQL开源数据库社区 mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储0 码力 | 47 页 | 1.80 MB | 1 年前3
 PieCloudDB云原生数仓虚拟化之路引领数据库行业全面走向云时代 8月 成⽴广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的eMPP云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布PieCloudDB「云上云」版 云原生数仓虚拟化 引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 基于 MVCC0 码力 | 44 页 | 1.64 MB | 1 年前3 PieCloudDB云原生数仓虚拟化之路引领数据库行业全面走向云时代 8月 成⽴广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的eMPP云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布PieCloudDB「云上云」版 云原生数仓虚拟化 引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 基于 MVCC0 码力 | 44 页 | 1.64 MB | 1 年前3
 云原生虚拟数仓 PieCloudDB ETL 方案设计与实现Merge/Upsert 模式,支持 CDC 场景 • 数据需要包含操作字段 (OP),即 INSERT/UPDATE/DELETE • 数据需要包含逻辑主键 (LPK),当逻辑主键不存在时做插入,已 存在时做更新或者删除 • 数据需要包含顺序键 (OK),以决定操作生效的顺序 • 数据可以重复,但不可以有事务逻辑错误 • Merge/Upsert 模式,步骤1 将数据解析完成,导入与目标表类型相同的临时表中0 码力 | 29 页 | 5.24 MB | 1 年前3 云原生虚拟数仓 PieCloudDB ETL 方案设计与实现Merge/Upsert 模式,支持 CDC 场景 • 数据需要包含操作字段 (OP),即 INSERT/UPDATE/DELETE • 数据需要包含逻辑主键 (LPK),当逻辑主键不存在时做插入,已 存在时做更新或者删除 • 数据需要包含顺序键 (OK),以决定操作生效的顺序 • 数据可以重复,但不可以有事务逻辑错误 • Merge/Upsert 模式,步骤1 将数据解析完成,导入与目标表类型相同的临时表中0 码力 | 29 页 | 5.24 MB | 1 年前3
共 15 条
- 1
- 2













