--πDataCS简介 兼容龙蜥的云原生大模型数据计算系统 拓数派产品市场总监 吴疆 吴疆 深耕云计算和数据库行业十余年 拓数派(Openpie)产品市场总监 毕业于清华大学计算机系，先后在IBM，EMC， Pivotal，VMWare参与多个云平台和数据库项目 01 拓数派简介 πDataCS简介 02 πDataCS与龙晰 03 01. 拓数派简介 海 外 研 发 独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准, 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为A 与东吴证券在数仓虚拟化和信创领域展开试点合作 12月 创始人冯雷再度荣登数字商业周刊“年度智造中国商业领袖” 4月 冯雷被评为杭州市所有的独角兽和准独角兽企业 中唯一“年度创业人物” 打造大模型时代 立身中国的世界级团队 首家以虚拟数仓通过信通院/可信AP数据库评测 7月 拓数派数据计算引擎PieCloudDB虚拟数仓再获信创认可 8月 拓数派入选中国信通院“铸基计划”「高质量数字

大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 • 拓数派（ OpenPie）是立足于国内的基础数据计算领域高科技 创新机构； • 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团 队； • 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 • 私域数据 - LLM训练数据多来源于公开渠道，无法接触到私域数据，对特定领域的生成任务质量不高。 • 长期记忆 - LLM本身却没有长期记忆能力，对长时间交互的上下文

....................................................................................... - 267 - 容量评估................................................................................................... ....................................................................................... - 373 - 数据模型 .................................................................................................. Instance 需要对应数个 CPU Core 的资源 资源，具体的比例需要根据数据库的适用场景进行综合评估。例如在生产环境，每个 Instance 所在的主机配置了 2 个 16 Core 的 CPU，可根据不同的场景，配置 4 ~ 12 个不等的 Primary，这个数字的选择需要由富有经验的专业技术支持人员进行评估， 每个 Instance 所在主机配置的 Primary 越多，响应并发的能力越弱，但单个任务的

Append-only 的特性，SQL-On-Hadoop 大多不 支持数据局部更新和删除功能 (update/delete)；例如 Spark 计算时， 需要预先将数据装载到 DataFrames 模型中； 基本上都缺少索引和存储过程等特征 除 HAWQ 外，大多对于 ODBC/JDBC/DBI/OLEDB/.NET 接口的支持 有限，与主流第三方 BI 报表工具的兼容性不如 MPP 数据库 的任务和用于少数次 的访问，而且主要用于 Batch（不需要交互式），对计算性能不是 很敏感，那 Hadoop 也是不错的选择，因为 Hadoop 不需要你花费 较多的精力来模式化你的数据，节省数据模型设计和数据加载设计 方面的投入。这些系统包括：历史数据系统、ETL 临时数据区、数 据交换平台等等。 切记，千万不要为了大数据而大数据（就好像不要为了创新而创新一 个道理），否则，你项目最后的产出与你的最初设想可能 可扩展 该客户单个 Greenplum 集群，从最初的 50 节点，经历了两次扩展， 最终扩展到了上百节点。每次扩容，数据库的数据容量不但得到提升， 业务人员更能直观的感受到相同模型运行速度得到提升，尤其是大机 构的大模型更为明显。 第一次扩容是从 50 节点到 74 节点，完成 30TB 业务数据的导出、传输、 导入，以及 70TB 左右的索引数据创建，实际停机时间大约 3 天左右。 第二次

generate_series(1,30:: bigint) AS ID) foo DISTRIBUTED BY (id); 2017.thegiac.com 2017.thegiac.com • 适合模型应用于数据子集的场景，并行执行效率非常高 • 如果节点间数据通讯，使用 适⽤用场景 2017.thegiac.com MADlib 2017.thegiac.com 强⼤大的分析能⼒力力 2017.thegiac.com ⽤用户案例例 1 Greenplum + MADlib 助⼒力力邮件营销 2017.thegiac.com 问题 ● 邮件⼴广告点击预测 模型不不够精准，需 要更更好的邮件营销 策略略 ● 现有数据分析流程 繁琐，速度慢，有 很多⼿手动步骤，易易 出错 客户 数据科学解决⽅方案 ● 某⼤大型跨国多元 化传媒和娱乐公 逻辑回归 计算 KS 分值 模型验证 ⼿手动预测 1 2 3 4 5 6 7 8 原始⼯工作流程 2017.thegiac.com 数据整理理 特征⽣生成 验证 预测 信息价值 ⽅方差膨胀 因⼦子 成对相关性 逻辑回归 Elastic Net 特征选择 模型 1 2 3 4 5

量业务，预设维度分析场景下表现良好，但在变化维的场景下生产成本巨大。例如，如果使用最 新商家类型回溯商家近三个月的表现，需要重新计算三个月的Cube，需花费几个小时，来计算近 TB的历史数据。另外，应对非预设维度分析，MOLAP模型需要重新进行适配计算，也需要一定的 迭代工作。 明细数据的交互 业务分析除了宏观数据之外，对明细数据查询也是一种刚需。通常大家会选择MySQL等关系型DB 作为明细数据的快速检索查询，但当业务成 iteblog.com 下图是MOLAP模式与ROLAP模式下应用方案的比较： MOLAP模式的劣势 1. 应用层模型复杂，根据业务需要以及Kylin生产需要，还要做较多模型预处理。这样在不同 的业务场景中，模型的利用率也比较低。 2. Kylin配置过程繁琐，需要配置模型设计，并配合适当的“剪枝”策略，以实现计算成本与查 询效率的平衡。 3. 由于MOLAP不支持明细数据的查询，在“ 较多的预处理伴随着较高的生产成本。 ROLAP模式的优势 1. 应用层模型设计简化，将数据固定在一个稳定的数据粒度即可。比如商家粒度的星形模型 ，同时复用率也比较高。 2. App层的业务表达可以通过视图进行封装，减少了数据冗余，同时提高了应用的灵活性， 降低了运维成本。 3. 同时支持“汇总+明细”。 4. 模型轻量标准化，极大的降低了生产成本。 综上所述，在变化维、非预设维、细粒度

具有以下的优势： Apache Doris 的优势：  Doris 架构极简易用，部署只需两个进程，不依赖其他系统，运维简单；兼容 MySQL 协议，并且使用标准 SQL。  支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。  支持对 Hive、Iceberg、Hudi 等数据湖和 MySQL、Elasticsearch 等数据库的联邦查 询分析。  导入方式多样，支持从 术支持团队，在使用过程中遇到问题均能快速得到响应解决。 同时我们也利用 Doris 的特性，解决了架构 1.0 中较为突出的问题。  数仓层：Apache Doris 的 Aggregate 数据模型可支持部分列实时更新，因此我们去 掉了 DWM 集市层的构建，直接增量到 Doris / ES 中构建宽表，解决了架构 1.0 中 上游数据更新延迟导致整个宽表延迟的问题，进而提升了数据的时效性。数据（指 逻辑，离线和实时可对多个开发逻辑进行复用，灵活度较高。 数据模型选择 目前我们生产环境所使用的版本为 Apache Doris 1.1.3，我们对其所支持的 Unique 主键模 型、Aggregate 聚合模型和 Duplicate 明细模型进行了对比 ，相较于 Unique 模型和 Duplicate 模型，Aggregate 聚合模型满足我们部分列更新的场景需求： Aggregate 聚合模型可以支持多种预聚合模式，可以通过

与东吴证券在数仓虚拟化和信创领域展开试点合作 12月 创始⼈冯雷再度荣登数字商业周刊“年度智造中国商业领袖” 4月 冯雷被评为杭州市所有的独角兽和准独角兽企 业中唯⼀“年度创业⼈物” 打造⼤模型时代 立身中国的世界级团队 首家以虚拟数仓通过信通院/可信AP数据库评测 7月 拓数派数据计算引擎PieCloudDB虚拟数仓再获信创认可 8月 拓数派⼊选中国信通院“铸基计划”「⾼质量数字化 2023拓数派年度技术论坛 拓数派⼤模型数据计算系统正式亮相，让AI模型更⼤更快 @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS的产品理念及定位 数据 计算 模型 灵活扩展的数据引擎，支持关系型数据库SQL、Spark/Flink 等流批⼀体处理、LLM的向量数据库以及GIS地理数据库等。 1 2 3 ⼤模型数据计算系统 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎数据计算，AI数学模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024

示返回数据的第一行的偏移量（第一行数据的偏移量 是 0），第二个参数指定返回数据的最大条目数。 FOR UPDATE 对查询结果集所有数据上读锁，以监测其他事务对这 些的并发修改。TiDB 使用乐观事务模型在语句执行 期间不会检测锁冲突，在事务的提交阶段才会检测事 务冲突，如果执行 Select For Update 期间，有 其他事务修改相关的数据，那么包含 Select For Update 语句的事务会提交失败。 Not possible Not possible TiDB 实现了其中的两种：读已提交和可重复读。 TiDB 使用percolator事务模型，当事务启动时会获取全局读时间戳，事务提交时也会获取全局提交时间戳，并以 此确定事务的执行顺序，如果想了解 TiDB 事务模型的实现可以详细阅读以下两篇文章：TiKV 的 MVCC（Multi- Version Concurrency Control）机制，Percolator 语法，但是不做任何事情（pass through）。 不支持对enum类型的列进行修改 内建函数 DDL 与 MySQL 兼容性对比 - 172 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 使用乐观事务模型，在执行 Update、Insert、Delete 等语句时，只有在提交过程中才会检查写写冲突， 而不是像 MySQL 一样使用行锁来避免写写冲突。所以业务端在执行 SQL 语句后，需要注意检查 commit

解析之后的为抽象语法树见下图。 为了便于理解，抽象语法树中的关键字的 Token 用绿色表示，变量的 Token 用红色表示，灰色表示需要 进一步拆分。 最后，通过 visitor 对抽象语法树遍历构造域模型，通过域模型（SQLStatement）去提炼分片所需的 上下文，并标记有可能需要改写的位置。供分片使用的解析上下文包含查询选择项（Select Items）、表信 息（Table）、分片条件（Sharding 功与否。本地事务在性能方面无任何损耗，但在 强一致性以及最终一致性方面则力不从心。 两阶段提交 XA 协议最早的分布式事务模型是由 X/Open 国际联盟提出的 X/Open Distributed Transaction Processing (DTP) 模型，简称 XA 协议。 基于 XA 协议实现的分布式事务对业务侵入很小。它最大的优势就是对使用方透明，用户可以像使用本地 事务一样使用基于 本小节主要介绍分布式事务的核心概念，主要包括： • 基于 XA 协议的两阶段事务 • 基于 Seata 的柔性事务 XA 两阶段事务 两阶段事务提交采用的是 X/OPEN 组织所定义的DTP 模型所抽象的 AP（应用程序）, TM（事务管理器） 和 RM（资源管理器）概念来保证分布式事务的强一致性。其中 TM 与 RM 间采用 XA 的协议进行双向通 信。与传统的本地事务相比，XA 事务