 Moonshot AI 介绍…在这次深度访谈中,他再次证明⾃⼰是个真 正“懂”⼤模型的创业者,所以本⽂中有许多反共识的观点:杨植麟觉得微调最终会不存在, tokenizer最后也不⼀定是必须的;硅⾕⼤模型训练者们担⼼数据瓶颈和能源限制,他反⽽觉得所有问 题都是互相关联的,多模态可以缓解数据短缺,合成数据则可以通过改变计算范式解决能源问题。 本⽂还试图回答另⼀个外界普遍关⼼的问题:⼀家新创⽴的AGI公司如何超越OpenAI?杨植麟的答案 esentation其实有差距。架构其实解决的是这个问题。 通过AI⾃我进化克服数据稀缺性的瓶颈是第⼆层的另⼀个问题。今天的AI其实像⼀个⿊盒,这个⿊盒 有两个输⼊:电源线和数据线,输⼊这两个东西后,盒⼦就能产出智能。随后⼤家意识到,数据线的 输⼊是有限的,这就是所谓的数据瓶颈问题,下⼀代AI需要拔掉数据线,做到只要源源不断地输⼊电 ⼒,就能源源不断地输出智能。 这两个核 leup,但如果只看语⾔模型 和⽂本,basemodel的scaling效果仍然远远超过⽤⼾的,但我认为最终会转移到⽤⼾的scaling law,只是个时间问题。 现在⾯对数据瓶颈,这⼀点尤为重要。特别是⼈类偏好数据,它⾮常有限,但没有它⼜不⾏。我觉得 这也是每⼀个AI-Native产品现在最值得思考的问题之⼀。所以,⼀个不⾜够关⼼⽤⼾的公司最终可能 也没法实现AGI。0 码力 | 74 页 | 1.64 MB | 1 年前3 Moonshot AI 介绍…在这次深度访谈中,他再次证明⾃⼰是个真 正“懂”⼤模型的创业者,所以本⽂中有许多反共识的观点:杨植麟觉得微调最终会不存在, tokenizer最后也不⼀定是必须的;硅⾕⼤模型训练者们担⼼数据瓶颈和能源限制,他反⽽觉得所有问 题都是互相关联的,多模态可以缓解数据短缺,合成数据则可以通过改变计算范式解决能源问题。 本⽂还试图回答另⼀个外界普遍关⼼的问题:⼀家新创⽴的AGI公司如何超越OpenAI?杨植麟的答案 esentation其实有差距。架构其实解决的是这个问题。 通过AI⾃我进化克服数据稀缺性的瓶颈是第⼆层的另⼀个问题。今天的AI其实像⼀个⿊盒,这个⿊盒 有两个输⼊:电源线和数据线,输⼊这两个东西后,盒⼦就能产出智能。随后⼤家意识到,数据线的 输⼊是有限的,这就是所谓的数据瓶颈问题,下⼀代AI需要拔掉数据线,做到只要源源不断地输⼊电 ⼒,就能源源不断地输出智能。 这两个核 leup,但如果只看语⾔模型 和⽂本,basemodel的scaling效果仍然远远超过⽤⼾的,但我认为最终会转移到⽤⼾的scaling law,只是个时间问题。 现在⾯对数据瓶颈,这⼀点尤为重要。特别是⼈类偏好数据,它⾮常有限,但没有它⼜不⾏。我觉得 这也是每⼀个AI-Native产品现在最值得思考的问题之⼀。所以,⼀个不⾜够关⼼⽤⼾的公司最终可能 也没法实现AGI。0 码力 | 74 页 | 1.64 MB | 1 年前3
 2024 中国开源开发者报告(模型推理计算成本)仍然较高。在短时间内, 算力、能源仍然会是大模型领域令人头疼的高墙。 根据报告【1】,能源消耗将会是 2030 模型 scaling 最卡脖子的因素。也就是说,在算力到 达瓶颈之前,首先可能会出现电能供应不足甚至交不起电费的问题。因此,算力层可以根据大模 型底层技术的特性,产出针对性的芯片,尤其是加速运算和降低能耗。这是未来 AI 芯片领域的 最优竞争力。 那么,把 为改善搜索引擎的质量和相关性而提出的,他能够构建并 理解实体及其之间的关系,能够整合不同来源的文档实现跨文档的实体关联,这使得知识图谱可 以对用户查询提供更加精确和语境化的回答,可以突破向量计算的瓶颈而执行多步推理、逻辑推 理。尽管有这些优势,知识图谱因其较高的构建和维护成本高,过去这几年也遭到了较多的诟病。 大模型技术的出现,为知识图谱技术的发展提供了新的机遇窗口。如何充分利用大语言模型 111 亿美元。最近谷歌 CEO Sundar Pichai 也表示,谷歌超 25%新代码均由 AI 完成。 很重要的一个原因是编程像数学一样结果非常容易评估,但是当下的 AI 编程有两个很大的 瓶颈,第一个是缺乏对领域知识的理解,比如 GitHub Copilot 对所有的编程语言用的都是一样 的模型,它甚至无法保证生成的这个编程语言的语法一定是正确的。 第二个是它缺乏原生的 IDE 支持,这也是因为时间关系,以前的0 码力 | 111 页 | 11.44 MB | 8 月前3 2024 中国开源开发者报告(模型推理计算成本)仍然较高。在短时间内, 算力、能源仍然会是大模型领域令人头疼的高墙。 根据报告【1】,能源消耗将会是 2030 模型 scaling 最卡脖子的因素。也就是说,在算力到 达瓶颈之前,首先可能会出现电能供应不足甚至交不起电费的问题。因此,算力层可以根据大模 型底层技术的特性,产出针对性的芯片,尤其是加速运算和降低能耗。这是未来 AI 芯片领域的 最优竞争力。 那么,把 为改善搜索引擎的质量和相关性而提出的,他能够构建并 理解实体及其之间的关系,能够整合不同来源的文档实现跨文档的实体关联,这使得知识图谱可 以对用户查询提供更加精确和语境化的回答,可以突破向量计算的瓶颈而执行多步推理、逻辑推 理。尽管有这些优势,知识图谱因其较高的构建和维护成本高,过去这几年也遭到了较多的诟病。 大模型技术的出现,为知识图谱技术的发展提供了新的机遇窗口。如何充分利用大语言模型 111 亿美元。最近谷歌 CEO Sundar Pichai 也表示,谷歌超 25%新代码均由 AI 完成。 很重要的一个原因是编程像数学一样结果非常容易评估,但是当下的 AI 编程有两个很大的 瓶颈,第一个是缺乏对领域知识的理解,比如 GitHub Copilot 对所有的编程语言用的都是一样 的模型,它甚至无法保证生成的这个编程语言的语法一定是正确的。 第二个是它缺乏原生的 IDE 支持,这也是因为时间关系,以前的0 码力 | 111 页 | 11.44 MB | 8 月前3
 网易数帆 领先的数字化转型技术与服务提供商 2021千人千面服务运营,精确促达客户,减少投放打扰,提升会员价值,减少 会员流失率。 客户案例篇 CASE 客户案例篇 CASE 国有四大行之一,世界领先的大银行之一。 中国工商银行 客户需求: 突破集中式数据库事务支撑瓶颈 减少大量校验和修复交易数据局面 解决方案: 提供分布式事务的技术输出和技术支持 提供分布式事务的最佳实践等咨询服务 客户收益: 统一的分布式事务能力,成本低质量高 多场景支持,支持同步、异步场景0 码力 | 43 页 | 884.64 KB | 1 年前3 网易数帆 领先的数字化转型技术与服务提供商 2021千人千面服务运营,精确促达客户,减少投放打扰,提升会员价值,减少 会员流失率。 客户案例篇 CASE 客户案例篇 CASE 国有四大行之一,世界领先的大银行之一。 中国工商银行 客户需求: 突破集中式数据库事务支撑瓶颈 减少大量校验和修复交易数据局面 解决方案: 提供分布式事务的技术输出和技术支持 提供分布式事务的最佳实践等咨询服务 客户收益: 统一的分布式事务能力,成本低质量高 多场景支持,支持同步、异步场景0 码力 | 43 页 | 884.64 KB | 1 年前3
共 3 条
- 1













