才会提升模型的能⼒。 杨植麟：你可以认为带
MoE
和不带
MoE
是两条
scaling
law。本质上
scaling
law
刻画的是
loss
跟参 数量之间的关系。MoE
改变了这个函数，让你能够⽤更⼤的参数，但同时
FLOPs
不变。合成数据改变 的是另⼀个关系，FLOPs
不变的情况下让数据规模增⻓。
沿着
scaling
law
⼀直⾛是个有确定性的事情，⼤家通过试图改变
scaling
law
⾥的具体关系来获得更 ⼀个统⼀的表⽰空间以及可规模化的数据⽣产。


海外独⻆兽：如果算⼒⾜够，会有⼈想做⼀个万亿参数的
dense
model
吗？
杨植麟：取决于推理成本的下降速度，但我觉得肯定会有。现在⼤家是因为推理成本太⾼，所以都在 做
tradeoff。但是最终直接训练⼀个万亿的
dense
model
肯定效果会⽐⼀个只有千亿参数的模型要 好。
海外独⻆兽：Anthropic
⼀直在提模型的可解释性，这⼀点其实有蛮多争论。你是如何思考可解释性 产品Kimi
智能助⼿，具备世界级的⻓⽂本处理能⼒，该 产品⽀持约20万字中⽂的上下⽂⻓度，使得整体表现⾮常惊艳。杨植麟认为，如今基于Transformer架 构的⼤模型，是“新时代的计算机”，参数数量决定计算复杂度，上下⽂⻓度决定内存⼤⼩⸺因此， 上下⽂⻓度是毫⽆疑问的关键所在。 上下⽂⻓度也正是近期AI圈中的⽐拼热点，各家都在这⼀指标上你追我赶。但这背后的核⼼问题在 于：什么才是真正有效的规模化？

98%以上。比直接把大文本扔进同一个 LLM 测试的问答准确率 几乎高出 14 个百分点。 有同学会说，LLM 幻觉的深层原因是 temperature 或者说概率引起的。就我纯个人观点来 看，现当下的 LLM 参数足够大、知识量足够多，temperature 引起的偏差对于最终结果的正确 性影响已经微乎其微了。 （三）市场表现 你应该看出来了，在 RAG 和微调之间，我明显站队了，而且从一年前就开始站队了，我们 日，开放源代码促进会（Open Source Initiative，OSI）发布了关于“开 源 AI 定义（OSAID）”1.0 版本，其规定了 AI 大模型若要被视为开源必须具备三个三个：训练 数据透明性、完整代码、模型参数。虽然对比目前市面上的“开源模型”，少有能力较高的模型 能完全符合，但这种声明本身就是一种开源开放态度的彰显。 我相信，在更加透明的数据集和算法的支持下，模型将在可控性上获得更好的发展机遇，相 应用 的不同环节。 第三个阶段，一些产品团队正探索开发完全由大模型驱动的代理应用。这类代理应用具备从 历史记忆中反思、自主规划和使用工具执行特定动作的能力。大语言模型负责选择要调用的工具 及其参数，而具体的执行动作则在沙箱环境中进行，以确保安全。 E2B、Modal 等服务提供商正是为了满足这一需求而诞生。代理通过 OpenAI 定义的 JSON 模式调用工具，这使得代理和工具能够在不同的框架中兼容，促进了代理工具生态系统

的 GPT-4 更先进。 Meta 开源Llama 2 2023 年 3 月 15 日，由 OpenAI 前成员创立的 Anthropic 发布对话 AI 产品 Claude，包含 520 亿个参数。 与 ChatGPT 类似，Claude 能够执行各种基于文字对话的任务，如文档搜索、 摘要、写作、编码，以及响应用户的提问。 四个月后，Anthropic 推出 Claude 2。Claude 这是蚂蚁自研的代码生成专属 大模型，帮助开发者自动生成代 码、自动增加注释、自动生成测 试用例、修复和优化代码等。 2023 年 8 月，阿联酋研究团队宣布开源阿拉伯语大模型 Jais。Jais 是一个 经过 130 亿个参数预训练的阿拉伯语和英语双语大型语言模型，在包含 720 亿个阿拉伯语词块和 2790 亿个英语 / 代码词块的数据集上进行训练。 谷歌发布 AI 代码编辑器：Project IDX 2023 年 孵化项目被公然抄袭，开源世界真 的会变得更好吗？ TII（阿联酋阿布扎比技术创新研究所）在 2023 年 5 月推出了号称是 “史上最强的开源大语言模型” Falcon（猎鹰）。虽然 Falcon 的参数比 LLaMA 小，但性能却更加强大。 但 Falcon 采用了自拟的 TII Falcon LLM License——在 Apache License 的基础上进行了一系列修改。 TII Falcon

法（2019.10.26） 中华人民共和国数据 安全法（2021.06.10） 中华人民共和国电子 签名法（2019.04.23） • 这里的安全中间件是 指支持国家标准密码 算法及其他国际算法， 通过参数转换、对象 管理、接口调度等模 块，完成身份认证、 安全邮件、安全传输 等安全业务场景的中 间件 • 安全中间件开源厂商 较少，主要使用国外 OpenSSL ， 或 基 于 OpenSSL的二次开源 pore进入行 业应用端，在“AI+金融”、“AI+制造”、“AI+电力”、“AI+医疗”领域逐渐树立标杆案例。同时，MindSpore进入科研院 所，基于鹏程云脑II AI集群，共同打造2000亿参数的鹏程·盘古中文模型，与武汉大学、中科院自动化所分别展开遥感领域人工智能 研究并开发多模态（图文音）大模型，引领AI技术发展并释放产业机遇。 社区企业成员：100+ 认证开发者：370+ 服务企业数量：5500+

以便进行更全面的分析和监控； • 支持对所有主机进行外部授权； • HttpProxy的条件块还增加了对精确路径匹 配条件的支持； • 支持内部重定向； • 对基于HTTPProxy资源的路由实现了HTTP 查询参数匹配功能。 Flagger v1.31.0发布 Flagger是基于Kubernetes的开源工具，用 于实现持续交付和自动化部署。它提供流量分 配管理、故障检测和回滚机制等功能，帮助开 发人员和运维团队实现高效可靠的应用程序部

定义镜像、支持模型及服务标准化。 便捷易用 模型开发、训练、调度可视化管控，内置 100+算子，支持模型一键式部署，降低 AI建模门槛。 AutoML 支持端到端 AutoML，自动化完成特征 治理、参数寻优、模型筛选流程，智能化 加速数据价值产出。 全流程管控 一站式覆盖数据导入、特征治理、模型 开发、模型训练、推理服务建模全流程， 提升 AI 建模效率。 轻量化、低成本 支持云原生架构，支持私有化部署，多形