Moonshot AI 介绍本⽂还试图回答另⼀个外界普遍关⼼的问题:⼀家新创⽴的AGI公司如何超越OpenAI?杨植麟的答案 是techvision,⼀号位要能做出技术判断,同时还能拍板执⾏。⼀个具体的例⼦是,⽉之暗⾯希望⽐ OpenAI更关⼼⽤⼾,原因是杨植麟判断⽤⼾数据的scaleup的效果最终会超越basemodel⾃⾝。 杨植麟对于⽤transformer这个概率模型的思想基础⾛向AGI也很有信⼼,⽤他的话说“如果你有10 说“如果你有10 亿的contextlength,今天看到的问题都不是问题”。 AGI:AI本质就是⼀堆scalinglaw 海外独⻆兽:我们把LLM的训练⽐作登⽉,⽉之暗⾯的名字也和登⽉相关。你怎么看现在创业公司 的LLM训练,在GPU和算⼒资源有限的条件下,还能实现登⽉吗? 杨植麟:“登⽉”有⼏个不同的⽣产要素,算⼒肯定是⼀个核⼼,但还有其他的。 ,techspace越⼤,技术、产品、商业层⾯ 能实现的差异化就越⼤。如果技术已经收敛了,那⼤家只能去追赶,就是同质化内卷。 然后我其实⽐较乐观,因为现在仍有巨⼤的techspace。AGI技术可以分为三层: 第⼀层是scalinglaw结合next-token-prediction。这个基础对所有⼈都是⼀样的,追赶过程逐渐收 敛。在这个路径上,OpenAI现在做得0 码力 | 74 页 | 1.64 MB | 1 年前3
2024 中国开源开发者报告大模型撞上“算力墙”,超级应用的探寻之路 文/傅聪 近日,大模型教父 Sam Altman 在 Reddit 上的评论透露出 GPT-5 难产的隐忧,直言有限 的算力约束让 OpenAI 面临迭代优先级的艰难抉择,在通往 AGI 的道路上一路高歌猛进的领头 羊似乎撞上了“算力墙”。 除此之外,能耗、资金,难以根除的幻觉,有限的知识更新速率、有限的上下文宽度、高昂 的运营成本等等,都让外界对大模型的发展忧心忡忡。面对棘手的困境与难题,大模型的未来, 种符号,将不同模态的信号统一地表达,并在脑中构 建了某种受限于当前科技水平的统一模型,这是人类 意识、社会沟通的前提。 从这个角度理解,多模态大模型很可能是通向真 34 / 111 正 AGI 的必经之路。将多模态信号统一对齐,是智能体与这个世界“无障碍”交互的前提,换 个新潮的词汇,就是我们期待的“具身智能”。谁不想拥有一台自己专属的“Javis”呢?而多 模态大模型的突破,也同样依赖前文所述的算力和数据上的沉淀。 就像今天的基层程序员,需要人表达清楚需求才能做好,复杂系统的架构设计和问题解 决也还是要靠人。 专业模型是通向 AGI 的必经之路。Anthropic CEO 预测,未来 5 年专业模型将达到人类顶 尖专家水平,将人类科研进展加速 10 倍,15 年后人类寿命有望达到 150 岁。但 AGI 能否实现, 最大的不确定性在于技术和资金。 技术方面,一些头部大模型公司已经发现 Transformer0 码力 | 111 页 | 11.44 MB | 8 月前3
2023 中国开源开发者报告LLMOps,甚至只是说开发者的各种“工程化组合骚操作”, 实际上已经可以把不同模型、不同模态、不同工具和知识源整 合,正是在往“提供更完整的解决方案”这一方向上的发展。 1 1 往深了说,或许这本质上就是在要求 AGI,而它是一个更 长远的路途了。 而如何将更完备的解决方案给到用户,如何将更平台化、 体系化的生成解决方案的技术给到解决方案生产者,是后 续 LLM 应用与技术演进的重要路标。你看 GPTs,直接0 码力 | 87 页 | 31.99 MB | 1 年前3
共 3 条
- 1













