杨植麟对于⽤
transformer
这个概率模型的思想基础⾛向
AGI
也很有信⼼，⽤他的话说“如果你有
10
亿的
context
length，今天看到的问题都不是问题”。
AGI：AI
本质就是⼀堆
scaling
law

海外独⻆兽：我们把
LLM
的训练⽐作登⽉，⽉之暗⾯的名字也和登⽉相关。你怎么看现在创业公司 的
LLM
训练，在
GPU
和算⼒资源有限的条件下，还能实现登⽉吗？
杨植麟 0
的
25
到
26
次⽅
FLOPs
这 种规模。这个数量级接下来肯定还会持续增⻓，所以我认为算⼒是个必要条件，因为机器学习或者
AI
研究了七⼋⼗年，唯⼀
work
的东西其实是
scaling
Law，就是放⼤这⼏种⽣产要素。
我们其实⽐较有信⼼，在⼀年的时间窗⼝，能够达到
10
的
26
次⽅这样规模的模型，资源最终会得到 合理分配的。
海外独⻆兽：OpenAI
训下⼀代 层⾯ 能实现的差异化就越⼤。如果技术已经收敛了，那⼤家只能去追赶，就是同质化内卷。 然后我其实⽐较乐观，因为现在仍有巨⼤的
tech
space。AGI
技术可以分为三层：
第⼀层是
scaling
law
结合
next-token-prediction。这个基础对所有⼈都是⼀样的，追赶过程逐渐收 敛。在这个路径上，
OpenAI
现在做得更好，因为他们过去四五年投⼊了相应的资源。

可能不是最优解 虽说智能体不需要太大的模型，但其运营成本（模型推理计算成本）仍然较高。在短时间内， 算力、能源仍然会是大模型领域令人头疼的高墙。 根据报告【1】，能源消耗将会是 2030 模型 scaling 最卡脖子的因素。也就是说，在算力到 达瓶颈之前，首先可能会出现电能供应不足甚至交不起电费的问题。因此，算力层可以根据大模 型底层技术的特性，产出针对性的芯片，尤其是加速运算和降低能耗。这是未来 个新潮的词汇，就是我们期待的“具身智能”。谁不想拥有一台自己专属的“Javis”呢？而多 模态大模型的突破，也同样依赖前文所述的算力和数据上的沉淀。 参考文献 【1】https://epoch.ai/blog/can-ai-scaling-continue-through-2030 【2】Newell, A., & Simon, H. A. (1956). The Logic Theory Machine – A Complex

only); release the mouse button. Drag to move the selection. Transformations (such as moving, scaling, rotating) are easy thanks to the two-way arrows. To scale (change the size of) an object: click

direction only); release the mouse button. Drag to move the selection. Transformations (such as moving, scaling, rotating) are easy thanks to the two-way arrows. Click the selection a second time to access skew

only); release the mouse button. Drag to move the selection. Transformations (such as moving, scaling, rotating) are easy thanks to the two-way arrows. To scale (change the size of) an object: click

release the mouse button. Fig. 1: Drag to move the selection. Transformations (such as moving, scaling, rotating) are easy thanks to the two-way arrows. To scale (change the size of) an object: • click

release the mouse button. Fig. 1: Drag to move the selection. Transformations (such as moving, scaling, rotating) are easy thanks to the two-way arrows. To scale (change the size of) an object: • click

i nners ’ G u i de, Rel eas e 1.0 Drag to move the selection. Transformations (such as moving, scaling, rotating) are easy thanks to the two-way arrows. Click the selection a second time to access skew