--πDataCS简介 兼容龙蜥的云原生大模型数据计算系统 拓数派产品市场总监 吴疆 吴疆 深耕云计算和数据库行业十余年 拓数派(Openpie)产品市场总监 毕业于清华大学计算机系，先后在IBM，EMC， Pivotal，VMWare参与多个云平台和数据库项目 01 拓数派简介 πDataCS简介 02 πDataCS与龙晰 03 01. 拓数派简介 海 外 研 发 独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准, 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为A 等关键技术打造完成 引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 2022拓数派产品发布会 云原生数仓PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原生虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务

大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 • 拓数派（ OpenPie）是立足于国内的基础数据计算领域高科技 创新机构； • 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团 队； • 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 • 私域数据 - LLM训练数据多来源于公开渠道，无法接触到私域数据，对特定领域的生成任务质量不高。 • 长期记忆 - LLM本身却没有长期记忆能力，对长时间交互的上下文

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5 概念 & 功能 7 5.1 调度模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5.2 弹性调度 . . . . . . . . 82 8.1.1 ElasticJob ‐ 版本: 3.0.4 ( 发布日期: Oct 18, 2023 ) . . . . . . . . . . . . . . . . . . 82 8.1.2 ElasticJob‐UI ‐ 版本: 3.0.2 ( 发布日期: Oct 31, 2022 ) . . . . . . . . . . . . . . . . 82 // 创建作业配置 // ... } } 4.3. 作业配置 6 5 概念 & 功能 本章节阐述 ElasticJob 相关的概念与功能，更多使用细节请阅读用户手册。 5.1 调度模型 ElasticJob 是面向进程内的线程级调度框架。通过它，作业能够透明化的与业务应用系统相结合。它能够 方便的与 Spring 、Dubbo 等 Java 框架配合使用，在作业中可自由使用 Spring

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 40 2.4.6 TiDB 数据共享订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 338 8.10 乐观事务模型下写写冲突问题排查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 610 11.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 45 2.4.6 TiDB 数据共享订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 357 8.11 乐观事务模型下写写冲突问题排查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 634 11.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 39 2.4.6 TiDB 数据共享订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 329 8.10 乐观事务模型下写写冲突问题排查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 589 11.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

7 使用 TiCDC 同步消息到 Kafka 时 Kafka 报错 Message was too large，该如何处理？ · · · · · · · · · 945 7.7.8 TiCDC 同步时，在下游执行 DDL 语句失败会有什么表现，如何恢复？ · · · · · · · · · · · · · · · · · · 946 7.7.9 使用 TiCDC 同步消息到 Kafka 时报错 kafka: 把数据同步到 Kafka 时，能在 TiDB 中控制单条消息大小的上限吗？ · · · · · · · · · · · · · · · 953 7.8.13 在一个事务中对一行进行多次修改，TiCDC 会输出多条行变更事件吗？ · · · · · · · · · · · · · · · · 954 7.8.14 TiCDC 把数据同步到 Kafka 时，一条消息中会不会包含多种数据变更？ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 954 7.8.16 TiCDC 把数据同步到 Kafka 时，如何确定一条消息中包含的数据变更发生在哪个时间点？ · · · · 954 7.8.17 TiCDC Open protocol 如何标示 null 值？ · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1039 10.2.5 乐观事务模型下写写冲突问题排查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1043 10 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1615 13.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2612 14.3.15 TiFlash Pipeline Model 执行模型 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2613 14

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 955 10.2.5 乐观事务模型下写写冲突问题排查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 959 10 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1503 13.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2519 14.3.14 TiFlash Pipeline Model 执行模型 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2520 14

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 939 10.2.5 乐观事务模型下写写冲突问题排查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 943 10 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1487 13.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2506 14.3.14 TiFlash Pipeline Model 执行模型 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2507 14