--πDataCS简介 兼容龙蜥的云原生大模型数据计算系统 拓数派产品市场总监 吴疆 吴疆 深耕云计算和数据库行业十余年 拓数派(Openpie)产品市场总监 毕业于清华大学计算机系，先后在IBM，EMC， Pivotal，VMWare参与多个云平台和数据库项目 01 拓数派简介 πDataCS简介 02 πDataCS与龙晰 03 01. 拓数派简介 海 外 研 发 独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准, 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为AI的基 云原生数仓PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原生虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌

大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 • 拓数派（ OpenPie）是立足于国内的基础数据计算领域高科技 创新机构； • 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团 队； • 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 • 私域数据 - LLM训练数据多来源于公开渠道，无法接触到私域数据，对特定领域的生成任务质量不高。 • 长期记忆 - LLM本身却没有长期记忆能力，对长时间交互的上下文

AGI趋势下的云原生数据计算系统 演讲人：徐阳 拓数派：大模型数据计算系统先行者 l 拓数派（ OpenPie）是立足于国内的基础数据计 算领域高科技创新机构； l 拥有强大的数据库内核研发团队、数据科学家团 队和数字化转型团队； l 国内虚拟数仓和eMPP技术提出者，不断在数据 计算引擎方向进行创新，全面拥抱AI技术趋势。 企业介绍 云原生数据计算系统 围绕数据组织云原生计算系统， 重构数据存储和计算，一份存 重构数据存储和计算，一份存 储，多引擎数据计算，全面升 级大数据系统至大模型时代。 02 中国AGI发展趋势 中国AGI市场融资非常活跃， AGI顶级人才非常欠缺，整 个市场将长期保持快速增 长态势。 01 AIGC全生命周期管理 基于PieCloudML，为企业构 建统一的MaaS框架和AIGC开 发框架，对模型和AI Agent进 行高效管理。 03 案例分享 基于PieDataCS的用户案例实 说明：数据来自InfoQ研究中心 中国AGI发展趋势 l 中国AGI市场自下向上分为基础设施层、模型层、中间层和应用层四层，这四层结构共同构成了中国AGI市场的技术框架。 国内AGI市场分层 中国AGI发展趋势 l 在通往AGI的征途上，AI Agent正逐渐成为探索的核心路径。但随着时间的推移，大模型的一些局限性开始显现，尽管大模型在模仿人类 认知方面取得了显著进步，但要达到真正的通用智能，仍需克服重重困难。因此，AI

白皮书 开源 Greenplum 新篇章： 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者：Greenplum 中文社区、 欧拉开源社区 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 ........................................................................................ 4 欧拉开源操作系统 .................................................................................................. ........................................................................................ 6 欧拉开源操作系统平台架构 ..............................................................................................

云原⽣数仓PieCloudDB 社区版与商业版正式发布 极速进⼊成长期 Day-1 2023 引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原⽣虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌 与 与东吴证券在数仓虚拟化和信创领域展开试点合作 12月 创始⼈冯雷再度荣登数字商业周刊“年度智造中国商业领袖” 4月 冯雷被评为杭州市所有的独角兽和准独角兽企 业中唯⼀“年度创业⼈物” 打造⼤模型时代 立身中国的世界级团队 首家以虚拟数仓通过信通院/可信AP数据库评测 7月 拓数派数据计算引擎PieCloudDB虚拟数仓再获信创认可 8月 拓数派⼊选中国信通院“铸基计划”「⾼质量数字化 拓数派⼤模型数据计算系统正式亮相，让AI模型更⼤更快 @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS的产品理念及定位 数据 计算 模型 灵活扩展的数据引擎，支持关系型数据库SQL、Spark/Flink 等流批⼀体处理、LLM的向量数据库以及GIS地理数据库等。 1 2 3 ⼤模型数据计算系统，以云

。数据被称为数字经济时代的“石 油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算（Data Computing）的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样，企业的数字 化转型面临巨大挑战，急需一款数据库 然而，随着数据量的不断攀升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈： 4 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器 此用户在扩容时，必须同时扩 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一定的挑战。当企业遇到负载高峰时刻或需要紧急得到某个 报表结果时，传统数据仓库无法及时扩资源，导致大数据系统无法弹性、快速地分析业务数据，错失了充分挖掘数据 价值所带来的商业机会。 传 统 数 据 仓 库 架 构 成 本 高 昂 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 63 2.2.4 操作系统支持变更 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 524 5.1.1 操作系统及平台要求· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 529 5 5.2 TiDB 环境与系统配置检查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 530 5.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 58 2.2.4 操作系统支持变更 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 520 5.1.1 操作系统及平台要求· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 526 5 5.2 TiDB 环境与系统配置检查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 526 5.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 · · · · · · · · · ·

Apache Doris在美团外卖数仓中的应用实践 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来 的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实 现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于 Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢 迎大家多给我们提出建议。 数仓交互层引擎的应用现状 目前，互联网业务规模变得越来越大，不论是业务生产系统还是日志系统，基本上都是基于Hado 、MOLAP（Kylin）引擎来进行支撑。如下图所示： 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 汇总数据的交互 业务团队日常经营分析最典型的场景就是各种维度下的自定义查询，面对如此灵活可变、所见即 1 / 8 Apache Doris在美团外卖数仓中的应用实践

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 464 5.1.1 操作系统及平台要求· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 469 5 5.2 TiDB 环境与系统配置检查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 471 5.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 · · · · · · · · · · · · · · · · · · · · · · · · · · 471 5.2.2 检测及关闭系统 swap· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 473 5.2.3 设置 TiDB 节点的临时空间（推荐）· · · · · · ·