πDataCS赋能工业软件创新与实践计算三者互为增强,全面升级⼤数据系统⾄⼤模型时代 ,赋能⾏业AI场景应用。 具备整体数据平台⽅案,支持多模数据处理(结构化、半结构化 以及非结构化数据),实现数据共享和分析。 软件优化 + 新硬件(FPGA)加速,实现数据全链路的性能飞跃, 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. ⽣态丰富,对结构化数据、半结构化数据以及非结构化数据都支持,可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼,需要掌握 多种组件的不同使用⽅法,业务开发周期会比较久。 国外开源软件,与国产软硬件兼容性差,不符合信创趋势,也⽆法直接利用云 资源的弹性能⼒。组件太多,导致集群部署和后期运维管理很麻烦,市场上相 关⼈才储备量不多,技术兜底依赖于Cloudera,国内第三⽅公司主要是基础运 维和开发为主。0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB 的云原生之路量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统一运维降低成本 服务器资源池可用空间增大 数据资源池可用空间增大 虚拟机动态迁移对硬件无感知 数仓整合,降低服务器硬件或者虚拟机成本 数据计算平台统一 运维降低成本 虚拟数仓数仓高在线 虚拟数仓动态 spinoff/retire 对计算资源无感知 持续产品升级,体验产品最新特性 ü 丰富的社区活动,赋能社区用户 ü 强大的开发者支持 ü 云原生 eMPP 专利技术支持与赋能 ü 7*24小时产品故障服务响应 ü 基于业务需求的专家团队服务 ü 国产化软硬件,技术自主可控 ü 存算分离支持独立扩容 ü 全面适配信创环境 公 有 云 私 有 云 裸 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 IvorySQL开源数据库社区 源和弹性保证了虚拟数仓永远在线可用,S3 存储和 跨云灾备能力保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间, 更好地赋能业务发展并走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 IvorySQL开源数据库社区 PieCloudDB0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统⼀运维降低成本 服务器资源池可⽤空间增⼤ 数据资源池可⽤空间增⼤ 虚拟机动态迁移对硬件⽆感知 数仓整合,降低服务器硬件或者虚拟机成本 数据计算平台统⼀ 运维降低成本 虚拟数仓数仓⾼在线 虚拟数仓动态spinoff/retire对计算资源⽆感知 持续产品升级,体验产品最新特性 ü 丰富的社区活动,赋能社区⽤户 ü 强⼤的开发者⽀持 ü 云原⽣eMPP专利技术⽀持与赋能 ü 7*24⼩时产品故障服务响应 ü 基于业务需求的专家团队服务 ü 国产化软硬件,技术⾃主可控 ü 存算分离⽀持独⽴扩容 ü 全⾯适配信创环境 公 有 云 私 有 云 裸 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 @2022 OpenPie 和弹性保证了虚拟数仓永远在线可⽤,S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 @2022 OpenPie. All rights0 码力 | 44 页 | 1.64 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCSπCloudML 虚拟数仓服务HTAP | 点查 (大模型)机器学习 向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题,是 生态丰富,对结构化数据、半结构化数据以及非结构化数据都支持,可以很好的 完成各种业务场景的数据处理需求。但是对于开发的要求比较高,需要掌握多种 组件的不同使用方法,业务开发周期会比较久。 国外开源软件,与国产软硬件兼容性差,不符合信创趋势,也无法直接利用云资 源的弹性能力。组件太多,导致集群部署和后期运维管理很麻烦,市场上相关人 才储备量不多,技术兜底依赖于Cloudera,国内第三方公司主要是基础运维和开 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 生态完善,支持主流的开发语言和数据科学工具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接口和API,完成各种复杂场景的数据 处理,业务开发周期短,现存的代码基本可以无缝迁移和复用。 国内自主研发,具备社区版、商业版以及云SaaS服务,与国产软硬件完美兼容,0 码力 | 29 页 | 7.46 MB | 1 年前3
PieCloudDB Database 产品白皮书 时刻或需要紧急得到某个 法弹性、快速地分析业务数据,错失了充分挖掘数据 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 传统数据仓库价格高昂的软硬件、开发运维人员的高晶薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率,无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长,面临数据库的扩 容和升级时,由于传 pieCloudDB 的存鱼引擎,支持对象存储、HDF5、NAS等分布式存储,数据的完整性、一致性和可靠性等由分布式存 储的多副本、EC以及灾备能力进行保障,将由于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。 此外,PieCloudDB 提供的独立的元数据服务 (Catalog Service) 保证元数据存取的效率和高可用性。PieCloudDB PieCloudDB 云原生虚拟数仓的“即开即用”特性 为企业节省了大量运维开支。由于 PieCloudDB 计算节点部署于云端,摆脱了物理限制和潜在的延迟,可随时随地通 过互联网轻松管理,无需任何硬件。数据随时随地可用,无需处理任何后端技术问题,为企业进行跨部门、跨区域的 数据共享和协作开辟了捷径,保证了企业的全球化进程。 * 坚如赤石(高安全、高可靠) 传统数据仓库将文件和资源存储在同一主0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书报表结果时,传统数据仓库无法及时扩资源,导致大数据系统无法弹性、快速地分析业务数据,错失了充分挖掘数据 价值所带来的商业机会。 传 统 数 据 仓 库 架 构 成 本 高 昂 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率,无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长,面临数据库的扩 容和升级时,由 PieCloudDB 的存储引擎,支持对象存储、HDFS、NAS等分布式存储,数据的完整性、一致性和可靠性等由分布式存 储的多副本、EC以及灾备能力进行保障,将由于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。 此外,PieCloudDB 提供的独立的元数据服务(Catalog Service)保证元数据存取的效率和高可用性。 eCloudDB 云原生虚拟数仓的“即开即用”特性 为企业节省了大量运维开支。由于 PieCloudDB 计算节点部署于云端,摆脱了物理限制和潜在的延迟,可随时随地通 过互联网轻松管理,无需任何硬件。数据随时随地可用,无需处理任何后端技术问题,为企业进行跨部门、跨区域的 数据共享和协作开辟了捷径,保证了企业的全球化进程。 传统数据仓库将文件和资源存储在同一主机中,以主备节点数据方式补偿节点宕机时间,严重影响数据时效性,增加0 码力 | 17 页 | 2.02 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析不影响批量读取,流式数据写入性能 来自用户的需求(2) • 支持国密标准 • 合规 • 加密算法可选 • 免配置 • 开箱即用 技术挑战(1) • 不可避免的性能损失 • 选用支持硬件加速的加密算法 • SIMD 支持 • 减少因为密钥泄露而造成的损失 • 多级密钥 • 密钥加密密钥 • 用户无感知 • 自动生成次级密钥 • 密钥自管理 • 分区加密 技术挑战(2) 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 透明加密实现细节 • 模块化实现 • 优化器、执行器不感知 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求0 码力 | 34 页 | 599.00 KB | 1 年前3
如何从零开始参与技术社区?全链路加密保证数据安全 核⼼产品优势 • 云原⽣存储架构,元数据、数据和计算全分离 • 数据⼀次⼊库永不出户,数据可用不可见,跑算⼒不跑数据 • 公有云、私有云及混合云,按需部署 • 国产软硬件⼀体机解决⽅案,满⾜特定⾏业用户需求 u 首 创 云 原 ⽣ e M P P 架 构 u 国 内 数 仓 虚 拟 化 技 术 提 出 者 u 云 时 代 存 算 双 重 分 离 技 术 u 中国唯⼀全自研Table πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型) 机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) Mundo元数据管理系统 统⼀Catalog 公有云 私有云 政务云 ⾏业云 信创云 • DataSharing 技术原⽣支持数据要素流转0 码力 | 25 页 | 871.00 KB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库Multi-Could 云上设施 • 对象存储 (数据共享,存算分离) • 兼容HDFS,NAS,本地磁盘 • 公有云,私有云,混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 (SIMD) • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎0 码力 | 45 页 | 1.32 MB | 1 年前3
大模型时代下向量数据库的设计与应用PieCloudVector • Faiss与postgres内核对接 - gpu搜索的特殊路径 • 避免并发调用gpu • 查询请求按批单线程提交 PieCloudVector • 兼容国产硬件和操作系统 PieCloudVector • 通过信通院测试 案例分析 - 东吴证券秀财gpt • 采用自研大模型东吴秀财GPT + LangChain开发框架 + PieCloudVector向量数据库构建了AIGC应0 码力 | 28 页 | 1.69 MB | 1 年前3
共 10 条
- 1













