事情，⼤家通过试图改变
scaling
law
⾥的具体关系来获得更 ⾼的
efficiency，多出来的
efficiency
就是各⾃的优势。
现在很多⼈觉得做出
MoE
就可以实现
GPT-4。我觉得这是⽚⾯的说法，最终更实质的可能还是如何有 ⼀个统⼀的表⽰空间以及可规模化的数据⽣产。


海外独⻆兽：如果算⼒⾜够，会有⼈想做⼀个万亿参数的
dense
model
吗？
杨植 制化去完全取代微调？
我认为现在正在往这个⽅向⾛，未来模型不需要微调，⽽是通过强⼤的上下⽂⼀致性和指令跟随能⼒ 来解决问题，⻓期趋势应该是底层技术个性化，这会是⼀个很重要的变化。 ⽐如，GPT-4
带来的新的计算范式，创建
GPTs
并不需要微调。以前的定制化是通过
programming
实 现的，今天实际上是通过让模型的
prefix
变得⾮常复杂，从这个通⽤的集合中抽出你想要的东西。通 ⽔平之后的模型完全可以⾃我进化，这样才能突破⼈类已有 能⼒的边界。
海外独⻆兽：你怎么看追平
GPT-4
的难度和时间？
杨植麟：Benchmarking
刷到
GPT-4
⾮常简单，但是达到它的实际效果肯定有难度的，⽽且靠的不只 是资源，Google
已经验证了这⼀点。其实
GPT-4
的训练成本也没那么⾼，⼤⼏千万美元不是⼀个很吓 ⼈的数字，对我们来说是好事，并且我们已经有⽐较好的进展。

“Llama 2 一开源，全球范围内进入了百模混战阶段”， 这个说法一点也不为过。 年底的“虚假宣传” Gemini 与“磁力链开源” Mistral 8x7B 两大神作，也凭借不输 GPT-4 的实力，将 LLM 狂 潮卷到天际。 四、 Stable Diffusion 和 Midjourney 这两大图像生成系统 的出现，极大地拓展和加速了 LLM 在计算机视觉领域的应 用 研究 设计：张琪  07 | AIGC  11 | 1024 黄金眼  13 | 项目停更  16 | 生产事故  18 | 开源治理 1 1 OpenAI 正式发布GPT-4 AIGC 回顾 2023 大语言模型 LLM 元年的重磅事件。 开源开发者事件回顾 Anthropic 推出Claude 2023 年 3 月，百度全新一代知识增强大语言模型、文心大模型家族的新成 据多了 40%，上下文 谷歌发布最强 AI 大模型Gemini 2023 年 12 月，谷歌发布了其认为规模最大、功能最强大的多模态 AI 大模型— —Gemini，称比 OpenAI 的 GPT-4 更先进。 Meta 开源Llama 2 2023 年 3 月 15 日，由 OpenAI 前成员创立的 Anthropic 发布对话 AI 产品 Claude，包含 520 亿个参数。 与 ChatGPT

合成数据驱动新产业链 早有机构预测，人类社会可利用训练数据会在 2026 年耗尽。这可能还是一个乐观估计。光 头哥 Tibor Blaho 还曾爆料，OpenAI 用于训练“猎户座“的数据中，已经包含了由 GPT-4 和 O1 产出的合成数据。 这不仅是因为自然存在的高质量文本的匮乏，还因为智能体所需的数据很可能需要显式地蕴 含任务思考和规划的拆解信息。然而，针对合成数据的问题，学术界早有预警，模型可能会在合