云原生虚拟数仓PieCloudDB Database产品白皮书油”,如同石油驱动了工业化时代的进步,大数据将推动智能化与数字化时代的发展。 数据量的爆发式增长 为了挖掘数据的价值,企业面临着海量数据的存储与分析需求,业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算(Data Computing)的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样,企业的数字 化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据 ”「数据计算,只为新发现」为使命,旗下云原生虚拟数仓 PieCloudDB,运用全新 eMPP(elastic Massive Parallel Processing) 分布式技术,可将物理数仓整合到云原生数据 计算平台,根据数据授权动态创建虚拟数仓,按需灵活计算,打破数据孤岛,支撑更大模型所需的数据和计算。 PieCloudDB 为企业构建「坚如磐石」的虚拟数仓,以云资源最优化配置实现无限数据计算可能,基于新一代数仓虚 拟 数据分析和人工智能、数据科学等功能。 PieCloudDB 产品概述 拓数派旗下旗舰产品PieCloudDB,是以对行业顶级数据库的抽象思考和设计原则复用为技术路线,可将物理数仓整合 到云原生数据计算平台,根据数据授权动态创建虚拟数仓,按需灵活计算,打破数据孤岛,支撑更大模型所需的数据 和计算。在云上,数据计算资源按需扩缩容,提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级 增加可计算数据空间的0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB Database 产品白皮书 2018 20192070 20717022 2973 2024 2025 1DC:全球数据圈预测 数据量的爆发式增长 为了挖掘数据的价值,企业面临着海量数据的存储与分析需求,业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算 (Data Computing) 的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样,企业的数字 化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数 、高强度算法、多级密钥、传输加密等技术为企业数 据的安全性保驾护航。 pieCloudDB 还支持包括数据库、表级别授权管理等完善的安全及权限管理,帮助企业系统地管理表级别的权限。支 持函数、参数等相关的白名单配置,避免用户对系统进行误操作。 此外,PieCloudDB 提供的可视化平台,帮助企业更方便地梳理维护角色授权。安全性上支持端到端的访问控制管理 和证书管理。 * 完善的数据生态 PieCloudDB 兼容0 码力 | 17 页 | 2.68 MB | 1 年前3
πDataCS赋能工业软件创新与实践Rest API @2024 OpenPie. All rights reserved. OpenPie Confidential 国内首创虚拟数仓技术 物理数仓整合到云原⽣数据计算平台,根据数据授权 动态创建虚拟数仓,打破数据孤岛,解决数据多副本 问题,帮助企业降低数仓管理复杂度,以更低的成本 实现存算资源在云上更灵活的配置。 打破数据孤岛,解决数据多副本 数据计算资源按需扩缩容,实现计算资源配置最优化, OpenPie Confidential 客 户 案 例 : 某 ⼤ 型 汽 车 集 团 全 面 升 级 ⼤ 数 据 平 台 ⾄ 云 原 ⽣ π D a t a C S 项目背景: 该企业依托于集团内部需求,建设了⼀个云平台,提供基础设施服务。随着⼦公司接⼊的数量越来越多,数据量也急剧增长, 原本采用的Hadoop平台⽆法满⾜业务的分析需求,主要存在以下问题: Ø 数据同步和采集周期较长,实时性很差 Hadoop集群运维成本较⾼,技术响应慢 解决⽅案: 采用PieCloudDB作为核⼼数字底座,完成原来CDH(Hadoop)平台的替换,构建了制造业⾏业云的数据中台服务,既面向集团内 部服务,同时也面向⾏业的公司提供服务。在集团内部主要提供营销数据、用户数据、经营数据以及车联⽹数据等数据的分析和应 用。具体如下: Ø 替换了Hive数仓,采用PieCloudDB云原⽣虚拟数仓作为数仓服务,整体数仓的SQL执⾏性能是原Hive的30倍;0 码力 | 36 页 | 4.25 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打 破 数 据 孤 岛 , 消 除 数 据 多 副 本 PieCloudDB云原生虚拟数仓 核心价值 物理数仓整合到云原生数据计算平台,根据数据授权 动态创建虚拟数仓,打破数据孤岛,解决数据多副本 问题,帮助企业降低数仓管理复杂度,以更低的成本 实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务器 无感知0 码力 | 29 页 | 7.46 MB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现meta, raw FROM foreign_table; • INSERT 模式,步骤2 Ø PieCloudDB Formatter Ø 解析 Foreign Table产生的 raw 数据,转换为内部行格式,生成需要的各列 CREATE FUNCTION formatter(input bytea) RETURNS user_type …; SELECT meta, raw FROM foreign_table (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) parsed; • Merge/Upsert 模式,步骤2 临时表内部去重。对于相同逻辑主键LPK的行,取OK最大的那行 INSERT INTO temp_table SELECT all_columns FROM ( SELECT *, row_number() OVER0 码力 | 29 页 | 5.24 MB | 1 年前3
共 5 条
- 1













