PieCloudDB Database 产品白皮书 每天有数个小的计算任务,需要数个节点 * 每周有一个中等计算任务,需要数十个节点 * 每月有一个大的计算任务,需要数干个节点 面对这些不断变化的业务需求和计算任务,企业产生了更高的需求: * 无限空间: 能够提供无限存储空间, 。 灵活伸编: 随时根据业务需求弹性增加集群和工作节点 * 资源回收: 在集群完成计算任务时,可以进行资源回收,节省成本 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 PieCloudDB 的数仓 虚拟化技术,可将多个数仓统一整合到一个高可用的云虚拟数仓,打通多云的数据管道,数据计算资源按需扩缩容, 提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级增加可计算数据空间的同时,数量级降低数仓 成本,打开无限数据计算空间,推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless)及TDE等多项核心技术加持下,为企业构建高安全,高可靠,高在线 全新的存储引擎 【简黑) pieCloudDB 打造了全新的存储引擎--简墨 (JANM) ,实现了基于对象存储的行列混存结构 。行列混存结合了行存和 列存的优势,允许面向列的压缩方案,压缩率更高,节省存储空间,跳过不必要的列的扫描,提高查询效率; 在读取 少量数据时,提高Cache命中率,减少MO 次数。 pieCloudDB实现了存储中立,支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式,还支持部署在存0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书时代,越来越多的企业将应用向云上迁移,而越来越多的数据也流向云上。公有云带来了众多优势: 每天有数个小的计算任务,需要数个节点 每周有一个中等计算任务,需要数十个节点 每月有一个大的计算任务,需要数千个节点 无限空间: 灵活伸缩: 资源回收: 这些优势使云原生数据库得以降低计算成本,提供无限丰富的计算资源,实现分钟级的伸缩性和真正的高可用,释放 出数据计算产生更多智能的机会。以下是云原生时代数字企业的典型使用场景: 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 PieCloudDB 应运而生, PieCloudDB 帮助企业摆脱了 PC 架 构的限制,满足云原生数字时代需求,成为更好的选择。 能够提供无限存储空间, 随时根据业务需求弹性增加集群和工作节点 在集群完成计算任务时,可以进行资源回收,节省成本 6 PieCloudDB 云原生虚拟数仓 杭州拓数派科技发展有限公司(又称“OpenP 到云原生数据计算平台,根据数据授权动态创建虚拟数仓,按需灵活计算,打破数据孤岛,支撑更大模型所需的数据 和计算。在云上,数据计算资源按需扩缩容,提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级 增加可计算数据空间的同时,数量级降低数仓成本,打开无限数据计算空间,推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式专利技术、服务器无感知(Serverless)及TDE(透明数据加密)等多项核心技术加持下,为企业构建0 码力 | 17 页 | 2.02 MB | 1 年前3
πDataCS赋能工业软件创新与实践Executor Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 : 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打破数据孤岛,消除数据多副本 @2024 OpenPie. All rights reserved. OpenPie 副本问题,帮助企业降低数仓管理复杂度,以更低 的成本实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务 器⽆感知技术(Serverless)利用云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可用,S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 支撑更⼤模型所需的数据和计算。更好地赋能业务发 物理数仓整合到云原⽣数据计算平台,根据数据授权 动态创建虚拟数仓,打破数据孤岛,解决数据多副本 问题,帮助企业降低数仓管理复杂度,以更低的成本 实现存算资源在云上更灵活的配置。 打破数据孤岛,解决数据多副本 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 支撑更⼤模型所需的数据和计算。更好地赋能业务发 展并⾛向绿⾊。 提升数据计算资源利用效益 TD0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB 的云原生之路质 量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统一运维降低成本 服务器资源池可用空间增大 数据资源池可用空间增大 虚拟机动态迁移对硬件无感知 数仓整合,降低服务器硬件或者虚拟机成本 数据计算平台统一 运维降低成本 虚拟数仓数仓高在线 虚拟数仓动态 spinoff/retire 对计算资源无感知 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上 更灵活的配置。 TDE 技术保证了所有数据在落盘前完成加密,服务 器无感知技术(Serverless)利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用,S3 存储和 跨云灾备能力保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间, 更好地赋能业务发展并走向绿色。 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路质 量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统⼀运维降低成本 服务器资源池可⽤空间增⼤ 数据资源池可⽤空间增⼤ 虚拟机动态迁移对硬件⽆感知 数仓整合,降低服务器硬件或者虚拟机成本 数据计算平台统⼀ 运维降低成本 虚拟数仓数仓⾼在线 虚拟数仓动态spinoff/retire对计算资源⽆感知 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务 器⽆感知技术(Serverless)利⽤云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可⽤,S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 更好地赋能业务发展并⾛向绿⾊。 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment0 码力 | 44 页 | 1.64 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打 破 数 据 孤 岛 , 消 除 数 据 多 副 本 PieCloudDB云原生虚拟数仓 核心价值 物理数仓整合到云原生数据计算平台,根据数据授权 动态创建虚拟数仓,打破数据孤岛,解决数据多副本 问题,帮助企业降低数仓管理复杂度,以更低的成本 实现存算资源在云上更灵活的配置。 无感知技术(Serverless)利用云上无限计算资源和 弹性保证了虚拟数仓永远在线可用,S3存储和跨云灾 备能力保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间,支 撑更大模型所需的数据和计算。更好地赋能业务发展并 走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技0 码力 | 29 页 | 7.46 MB | 1 年前3
PieCloudDB:云原生分布式虚拟数仓的诞生之旅OpenPie Confidential PieCloudDB简介 (cont.) • 为什么我们觉得数据库云原⽣很重要? • 破除数据隔离(⼀份数据就好). • 否则⼀致性问题、也浪费存储空间. • 数据作为新的⽣产要素要流通起来才有更⼤价值. • 参考云被认同的时间线. • 弹性伸缩(成本 & 性能 & 灵活). • 云对于⼩中⼤客⼾都有价值. @2022 OpenPie. All 元数据存储 • ⼤概率缓存承担更⼤的作⽤. 进⼀步⼤幅减少持久存储的访问负载. • 元数据和数据库状态解耦存储. • 可能需要⼀部分的re-design. • 抽象各种解耦(包括持久存储):降低复杂度、提⾼稳定性. • 等等. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB内核的下⼀步 • ⽤⼾数据存储0 码力 | 24 页 | 2.01 MB | 1 年前3
PieCloudDB Database V2.8 Release Note60%-95% 的存储空间。 2 l 优化 Block Skipping 实现 JANM 的虚拟索引。对于某些特殊的访问方法,表的数据文件/块已经包 含可以用作索引的信息,通过虚拟索引不仅可以利用这些信息来提高性能,而 且能减少维护开销。 l 简墨 JAMN 相关优化 n 通过 Delte Encoding 优化 JAMN 文件存储空间。 n 支持指定0 码力 | 4 页 | 144.49 KB | 1 年前3
云原生数据库PieCloudDB 性能优化之路rows) • 主要处理查询语句中FROM和WHERE部分 • 同时也会考虑到ORDER BY的信息 • 代价驱动 • 为基表生成扫描路径,并计算扫描路径的代价和结果集大小 • 搜索整个连接顺序空间,为连接操作生成连接路径 • O(n!) • 动态规划 • 遗传算法 • 考虑外连接对连接顺序的限制 (A leftjoin B on (Pab)) innerjoin C on (Pbc)0 码力 | 26 页 | 711.44 KB | 1 年前3
共 9 条
- 1













