Part 2： TOP101-2024 大 模 型 观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 本章汇集了来自不同领域专家和开发者对开源大模型和人工 智能技术的深刻见解，不仅涵盖了技术层面的深入探讨，也 触及了社会、伦理和政策层面的广泛议题。 从对中国开源模型崛起的分析，到对开源模型持久性的思考， 再到对超级应用探寻之路的探索，每篇文章都为我们提供了 独特的视角，帮助我们理解开源大模型在 AI 技术领域的作用 和影响。 20 / 111 2024 年中国开源模型：崛起与变革 文/Tiezhen、Adina、Lu Zilliz 等多家知名企业工作。 曾联合发起全球首个开源向量数据库项目 Milvus，并帮助 Milvus 社区 在两年间迅速拓展到两千家企业用户。 29 / 111 大模型撞上“算力墙”，超级应用的探寻之路 文/傅聪 近日，大模型教父 Sam Altman 在 Reddit 上的评论透露出 GPT-5 难产的隐忧，直言有限 的算力约束让 OpenAI 面临迭代优先级的艰难抉择，在通往

处。完全不关⼼商业价值的话，你其实很难真的做出来⼀个伟⼤的产品，或者让⼀个本⾝很伟⼤的技 术变得更伟⼤。
海外独⻆兽：你觉得模型公司应该讲什么故事？像
OpenAI
⼀样讲追求
AGI，还是超级应⽤的故事？ 两者会有⽭盾吗，怎么来平衡？ 杨植麟：如何讲故事取决于投资⼈的⼼态。对我们来说，更重要的是理解两者之间的关系。 AGI
和产品对我们来说并不是⼿段和⽬的的关系，两个都是⽬的。同时，在追求
AGI
的过程中，我认为 为 ⾃⼰本⾝的合成数据服务。 出现这种情况的话，能源的问题也解决了，因为推理是可以分布式的。⽽且它不违背定律，本质还是 个能源守恒。只不过我把计算范式改变了，让能源能够以分布式的⽅式解决。 超级应⽤：模型的微调可能最终不存在
海外独⻆兽：Google
和抖⾳背后的搜索和推荐有很强的⻜轮效应，算法能根据⽤⼾的⾏为实时反 馈，⽤⼾体验也能不断提升。LLM
现在⽆法实时反馈⽤⼾⾏为，AI-Native
产品的⻜轮效应会是什 可能要再往前推⼀步，到底怎样 跟⽤⼾去建⽴信任，⼈类社会可能并不接受指派⼀个终⾝搭档的做法，这有点反⼈性。
海外独⻆兽：⽉之暗⾯想做超级应⽤，你⾃⼰理想中的超级应⽤⻓什么样⼦？多⼤才算超级？
杨植麟：还是看破圈程度。周围的亲戚都在⽤，你才真正成为超级应⽤。⽽且我认为
AI
能⼒的提升会 领先于产品破圈。⽐如假设今天
character.ai
是⾮常完美的多模态模型，那我觉得它破圈的概率⾄少

应用场景之战 大模型安全之战 • 探索超越人类的超级人工 智能AGI • 不仅是科技之争，更是国 运之争 • 不发展是最大的不安全， 发挥举国体制优势，打赢 追赶之战 • 大模型带来前所未有安全 挑战 • 外挂式传统安全手段难以 应对 • 应对模型安全新挑战，打 赢未雨绸缪之战 • 大模型是能力而非产品， 结合场景才能发挥价值 • 中国拥有最完整的产业链、 最全的工业门类、最丰富 的场景 • 产业数转智改，打赢弯道 超车之战 AGI是全球少数玩家的游戏，政府、企业、创业者更多创新的机会在应用之路 11政企、创业者必读 把大模型拉下神坛！ 走入千家万户、百行千业，才能掀起新工业革命 • 当年IBM做出超级电脑，并没有带来工业 革命，因为只有少数人用 • IBM甚至声称，全世界只用5台电脑就够了 • 真正带来信息革命的是个人电脑走入千家 万户、百行千业 当年的电脑 当今的大模型 • 如果需要十万或百万张卡起玩，就无法 全面超越人类的人工智能在逻辑上不成立政企、创业者必读 15 DeepSeek出现之前的十大预判 之二 慢思考成为新的发展模式  大模型发展范式正在从「预训练」转向「后训练」和「推理时计算」  大模型厂商都在探索慢思考、思维链技术政企、创业者必读 DeepSeek出现之前的十大预判 之三 模型越做越专  除了少数科技巨头，大多数公司都专注于做专业大模型  MoE架构盛行，本质是多个专家模型组成一个大模型  De

领域开源势力的典型代表，它的 出现，犹如一颗投入平静湖面的石子，激荡起层层水波， “Llama 2 一开源，全球范围内进入了百模混战阶段”， 这个说法一点也不为过。 年底的“虚假宣传” Gemini 与“磁力链开源” Mistral 8x7B 两大神作，也凭借不输 GPT-4 的实力，将 LLM 狂 潮卷到天际。 四、 Stable Diffusion 和 Midjourney 这两大图像生成系统 模型作为协作执行者（来自 HuggingFace Hub）组成。 7 月 13 日，京东全面推出京东言犀大模型， 服务千行百业，拥抱产业智能。言犀大模型 融合了 70%的通用数据与 30%京东数智供 应链原生数据，致力于面向知识密集型、任 务型产业场景，解决真实产业问题。 2023 年 6 月，百度智能云推出了基于大模型的 “Comate”代码助手。 借助文心大模型的理解、推理能力，“Comate” Meta 代码生成大模型：Code Llama OpenAI 开发者大会宣布 GPTs 商店 用“磁链链接”发布的 Mixtral 8x7B ——全球首个开源 MoE 大模型 2023 年 12 月，有 “欧洲版 OpenAI” 之称的大模型创业公司——Mistral AI 用「磁链链接」开源了 87 GB 的 8x7B MoE 模型：Mixtral 8x7B。 这是一个开放权重的高质量稀疏混合专家模型(SMoE)，采用

username (string) –用户名 • full_name (string) –用户全名 • email (string) –用户电子邮箱 • is_superuser (boolean) –用户是超级用户吗？（可选的） • is_active (boolean) –用户是活动用户吗？（可选的） GET /api/users/(str: username)/ 返回用户的信息。 参数 • username (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 • groups (array) –连接到关联的组；请参见GET (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 PATCH /api/users/(str: username)/

username (string) –用户名 • full_name (string) –用户全名 • email (string) –用户电子邮箱 • is_superuser (boolean) –用户是超级用户吗？（可选的） • is_active (boolean) –用户是活动用户吗？（可选的） GET /api/users/(str: username)/ 返回用户的信息。 1.12. Weblate (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 • groups (array) –连接到关联的组；请参见GET (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 PATCH /api/users/(str: username)/

username (string) –用户名 • full_name (string) –用户全名 • email (string) –用户电子邮箱 • is_superuser (boolean) –用户是超级用户吗？（可选的） • is_active (boolean) –用户是活动用户吗？（可选的） GET /api/users/(str: username)/ 返回用户的信息。 参数 • username (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 • groups (array) –连接到关联的组；请参见GET (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 PATCH /api/users/(str: username)/

username (string) –用户名 • full_name (string) –用户全名 • email (string) –用户电子邮箱 • is_superuser (boolean) –用户是超级用户吗？（可选的） • is_active (boolean) –用户是活动用户吗？（可选的） GET /api/users/(str: username)/ 返回用户的信息。 参数 • username Manual, 发布 4.8 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 • groups (array) –连接到关联的组；请参见GET (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 PATCH /api/users/(str: username)/

username (string) –用户名 • full_name (string) –用户全名 • email (string) –用户电子邮箱 • is_superuser (boolean) –用户是超级用户吗？（可选的） • is_active (boolean) –用户是活动用户吗？（可选的） GET /api/users/(str: username)/ 返回用户的信息。 参数 • username (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 • groups (array) –连接到关联的组；请参见GET (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 PATCH /api/users/(str: username)/

username (string) –用户名 • full_name (string) –用户全名 • email (string) –用户电子邮箱 • is_superuser (boolean) –用户是超级用户吗？（可选的） • is_active (boolean) –用户是活动用户吗？（可选的） GET /api/users/(str: username)/ 返回用户的信息。 参数 • username (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 • groups (array) –连接到关联的组；请参见GET (string) –用户的用户名 • full_name (string) –用户的全名 • email (string) –用户的电子邮箱 • is_superuser (boolean) –用户是否是超级用户 • is_active (boolean) –用户是否是活动用户 • date_joined (string) –创建用户的日期 PATCH /api/users/(str: username)/