PieCloudDB Database 产品白皮书 录。数据计算时,所有机器同时并行计算,理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ,节省了海量数据的处理时间。 传统数据仓库架构 然而,随着数据量的不断尝升,企业对数据仓库的要求也越来越高,在使用过程中,传统 MPP 数据库解决方案迎来 了一系列的瓶颈: 传统数据仓库的计算和存情是| 容计算资源和存储资源,在扩缩容、运维、迁移上都存在一, 报表结! 传统数据仓库无法及时扩 导致大数据系统天 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迁代迅速,相关人员需保持积极的知识更新意识。根关人才市场较小,人才芽乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 云时代的数据处理要求 随着数据量和计算能力的爆发式增长,云计算技术的迅猛发展,云原生架构愈受欢迎,云原生时代应运而生。云原生 时代,越来越多的企业将应 (主要支 持其中的OLAP 特性) ,支持窗口函数等高阶表达式。此外, PieCloudDB 容 PostgreSQL 协议,支持标准数据库接 口 (0DBC、JDBC等) 。 对5QL的全面支持和多种过程语言 (Procedure Language) 的支持使得 PieCloudDB 可以无锋集成业内常见的提取/ 转换/加载 (ETL) 和 Bl (商业智能) 工具。企业只需安排少量的集成工作,就可以使用现有的使用标准0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书数据库营收数据将占据数据 库整体市场的半数以上。 1 2 全 球 数 据 圈 预 测 IDC: 3 缺 乏 弹 性 然而,随着数据量的不断攀升,企业对数据仓库的要求也越来越高,在使用过程中,传统 MPP 数据库解决方案迎来 了一系列的瓶颈: 4 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库,而典型的传统分布式数据库系统大多是 MPP(大规模并行计算)架构。 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迭代迅速,相关人员需保持积极的知识更新意识。相关人才市场较小,人才匮乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 5 云时代的数据处理要求 随着数据量和计算能力的爆发式增长,云计算技术的迅猛发展,云原生架构愈受欢迎,云原生时代应运而生。云原生 时代,越来越多的 持其中的OLAP 特性),支持窗口函数等高阶表达式。此外, PieCloudDB 兼容 PostgreSQL 协议,支持标准数据库接 口(ODBC、JDBC 等)。 对SQL的全面支持和多种过程语言(Procedure Language)的支持使得 PieCloudDB 可以无缝集成业内常见的提取/ 转换/加载(ETL)和 BI(商业智能)工具。企业只需安排少量的集成工作,就可以使用现有的使用标准0 码力 | 17 页 | 2.02 MB | 1 年前3
大模型时代下向量数据库的设计与应用LLM本身却没有长期记忆能力,对长时间交互的上下文 Query LLM Response 检索增强生成(RAG) • 将辅助增强数据通过embedding过程转换为向量,加载到向量数据库中并做索引 • 对每个用户输入同样通过embedding过程得到向量,从向量数据库中搜索距离相近数据 • 将这些辅助数据与用户输入同时输入给大模型之后输出 向量数据库 • embedding通过大模型将各种形式的数据转换成向量0 码力 | 28 页 | 1.69 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS原Pivotal中国领团队和原Greenplum产品及社区核心成员均已加入拓数派。成员毕业自CMU、北大、清华和科大少年班 等顶级学术机构,并有成员获有奥赛奖牌。 • 我们秉承硅谷创新文化和普及数字化公益等社会责任。在公司成长的过程中,不遗余力为人才提供一个成为业内明星的平 台和通道。 郭罡(Paul Guo) 合 伙 人 & C T O • 中国科技大学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum/HAWQ首席内核架构师 专业技能的额外劳动力成本、额外的许可成本 • 有限的查询语言能力、可编程性和可扩展性 • 有限的工具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统一的数据平台,在动态扩缩容过程中无需移动 数据,充分保障数据的一致性 • 使用简单,学习成本低,无需额外投入 • 既满足了向量存储和向量搜索的需求,又升级实 现了云上分布式向量化计算的技术突破 • 支持多种向量搜索算法,为不同的业务场景提供0 码力 | 29 页 | 7.46 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现隔离性 • 持久性 @2022 OpenPie. All rights reserved. OpenPie Confidential • Segment节点并不持有持久化的数据,在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表,事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved0 码力 | 43 页 | 1.14 MB | 1 年前3
πDataCS赋能工业软件创新与实践专业技能的额外劳动⼒成本、额外的许可成本 • 有限的查询语⾔能⼒、可编程性和可扩展性 • 有限的⼯具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统⼀的数据平台,在动态扩缩容过程中⽆需移 动数据,充分保障数据的⼀致性 • 使用简单,学习成本低,⽆需额外投⼊ • 既满⾜了向量存储和向量搜索的需求,又升级 实现了云上分布式向量化计算的技术突破 • 支持多种向量搜索算法,为不同的业务场景提0 码力 | 36 页 | 4.25 MB | 1 年前3
共 6 条
- 1













