LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持 代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供

领先的数字化转型技术与服务提供商 网易数帆是网易集团旗下 TO B 企业服务品牌，定位于领先的数字化转型 技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相 应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 各行业客户的验证。目前已服务各领域头部客户百余家，包括工商银行、 浙商银行、银监会、人保金服、深圳证券交易所、华泰证券、名创优品、 古茗、百胜集团、温氏集团、万向集团、大华股份、宁波钢铁、一汽解放、 以“开放、开源、跨云”为技术理念，网易数帆大力推动技术研究，先后取 得“工信部云计算服务能力标准首批试点单位”、“国家企业技术中心”、“信 通院云计算标准和开源推进委员会成员”、“信通院大数据技术标准推进委 员会成员”、“信创工委会成员”等机构资质。同时，网易数帆积极推动跨厂 商的数字化技术融合发展，与AWS、阿里云、百度云、华为鲲鹏云计算、 浪潮、新华三等多家企业完成技术兼容性认证。 数帆使命：帮助所有客户成功实现数字化转型

Systems”，将会逐 渐变成现实。 如果中国的开源，以⼀种与世界隔离的⽅式 “崛起”，这并不是我们希望看到的未来。 3. 开源向善以及我们尚未做好准备 疫情爆发以来，众多的开源⼈奉献⾃⼰的时间、精⼒、技术和智慧，投⼊到⼀个⼀个的抗疫相 关的开源项⽬之中，也因此诞⽣了诸多⾯向医学、防疫、公益、救援的开源组织和开源项⽬。 其中 wuhan2020 就是典型的代表。 因此，在 2020 年的中国开源年会筹办期间，我们毫不犹豫的选择了 特邀点评专家：  吴晟，Apache 软件基⾦会 Member，Apache Local Community 联合创始⼈  ⻩东旭，PingCAP 联合创始⼈兼 CTO  ⻢艳军，百度深度学习技术平台部⾼级总监  蒋涛，CSDN 创始⼈ & 董事⻓，极客帮创投创始合伙⼈  ⾼阳，SegmentFault 思否创始⼈ & CEO  红薯，开源中国创始⼈ & CTO  庄表伟，开源社理事⻓ 前中国开源社区的真实现 状，从⽽为开源的后来⼈提供权威的参考。  调查对象：覆盖开发者、社区成员、贡献者、学⽣、政府企业管理⼈员  调查内容：主要涵盖个⼈信息、⼯作状况、开源社区以及开发者技术  调查⽅法：以在线问卷⽅式搜集样本和数据，交叉对⽐法分析数据  推⼴⽅法：线上社交媒体、博客、开源社、开源中国⽹站  问题数量：59  问题类型：单选、多选、开放性  样本量：236

攻大模型研发与应用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAl-o1正式版。 (Pass@1) 场景1：1小时内写完一个1万字的项目书 场景：下午3点，你突然接到领导通知：“今晚4点前必须交一份10000字的智能物流园区项目方案书，客户临时提 前会议！”你大脑一片空白——手头只有零散的会议记录、几份过时的模板，且对“智能物流”技术细节不熟。电 脑右下角显示时间：3:05 PM，你手心冒汗，疯狂翻找资料，但文档光标始终停留在标题页…… 场景1：1小时内写完一个1万字的项目书 是否可 场景1：1小时内写完一个1万字的项目书 第二阶段：20分钟——用AI批量填充模块（目标：6000字） 针对每个小节单独提问，例如： “写一段‘2.1 功能分区’的内容，要求包含自动化立体仓库、AGV调度中心、冷链专区的技术参数，用数据列表形式 呈现。” 关键技巧： p 数据嫁接：若缺乏具体数据，直接让AI生成合理虚构值（标注“示例”规避风险）： p “假设园区占地500亩，日均处理包裹量50万件，请计算自动化分拣设备的配置数量，用表格展示。”

40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 量达到了40万个，越来越多的开 发者选择凝聚在一起，共同拥抱 开放透明的组织协同。 7 / 111 本年度最受开发者关注的开源组织 2024 年，技术大厂及其大型项 目依然备受关注，它们推动着技 术的快速发展和广泛应用。 同时，「民间」开源组织虽然在 关注度上不及大厂主导的项目， 但它们在某些技术细分领域中却 拥有非常强的影响力和活跃的开 发者社区。 两者的不同发展模式相互补充， 共同推动了国内开源生态的繁荣 与多样化。 Star 数方面，更加注重创 新和技术探索「民间」开源组织 更加「接地气」，受到了更多开 发者的喜爱。 虽然面临资源的挑战，但它们的 灵活性和社区驱动力使得它们获 得了更多开发者的支持。 9 / 111 本年度最活跃的开源组织 不同开源组织在 Issue 解决 和 PR 处理数量上的差异，反映了它 们在开发活跃度、社区参与度和 技术成熟度上的不同战略。 技术大厂主导的项目往往具有较 高的资源投入和社区管理效率，

COVID 之中。但是，从另一个角度来看，世界正在发生巨变， 我们所处的世界，正在高速朝着某个未知的方向前进。 对于中国开源而言，2021 年的关键词，应该是“助跑”。迹象已经 非常明显，工信部信息技术发展司发布了《“十四五”软件和信息技 术服务业发展规划》，就是一个典型的信号，开源领域即将起飞了。 从地面行走，到天空飞行，这是两个完全不同的阶段。而 2021 年， 则是起飞之前的助跑阶段。从地面到天空，意味着整个行为的模式 对抗的背景，很多人开始从国际政治、国家实力、国家安全的角度， 来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安 全事件，更是令大家议论纷纷。这样一个令人喜忧参半的现象，也 许还会继续持续下去。 生态责任 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是 自由的。但是，在软件吞噬世界、开源吞噬软件的今天，开源技术， 2021 中国开源年度报告 3 已经成为整个世界的基础设施之一。能力越大，责任越大。应用越广， 受访者所在的企业类型 …………………………………………………………………………… 17 3.5 公司购买开源产品的决策 ………………………………………………………………………… 18 3.6 受访者所从事的技术方向 ………………………………………………………………………… 19 3.7 开发语言 …………………………………………………………………………………………… 20 3.8 Java 开发框架

moving in an unknown direction at high speed. 对于中国开源而言，2021 年的关键词，应该是“助跑”。迹象已经非常明显，工信部信息技术 发展司发布了《“十四五”软件和信息技术服务业发展规划》，就是一个典型的信号，开源领域 即将起飞了。从地面行走，到天空飞行，这是两个完全不同的阶段。而 2021 年，则是起飞之 前的助跑阶段。从地面到天空，意味着整 开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首先是嗅觉灵敏的投资人开始 关注开源这个“赛道”，然后是基于中美对抗的背景，很多人开始从国际政治、国家实力、国家 安全的角度，来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安全事件，更 是令大家议论纷纷。这样一个令人喜忧参半的现象，也许还会继续持续下去。 Open source is getting hotter and hotter 生态责任 / Ecological responsibility 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是自由的。但是，在软件吞噬 世界、开源吞噬软件的今天，开源技术，已经成为整个世界的基础设施之一。能力越大，责任 越大。应用越广，风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何建设更加 健康的开源生态呢？在这样一种生态中，各方的责任又该如何界定呢？

卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lossless
Long
Context
Window 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的 模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗 ⼝、降采样、⼩模型等技术实现上下⽂窗⼝延⻓，都是“技术捷径”）
c. 通过这篇⽂章，您可以了解更多技术⽅⾯信息：专访⽉之暗⾯杨植麟：lossless
long
context
is
能以专业⽔准提供⽀持。超⻓⽂ 档、多个⽂件，都可以快速摘要、翻译、答疑，⽀持上传
PDF、Word、Excel、PPT、TXT⽂件和 图⽚。 • 整理资料：⽆论是堆积如⼭的发票，还是复杂冗⻓的会议记录，Kimi
都能智能识别整理，⾃动提取 关键点，让资料整理不再繁琐，信息⼀⽬了然。 • 辅助创作：根据你提供的⽹⻚链接、⽂件、指令，Kimi
可以帮助你梳理⼤纲、续写⽂章、创作⽂ 案、写作

公平性、中立性准则 • 开源项目不得对任何个人、组织以及用途等规定歧视性条款 • 开源项目的内容须在无需进一步许可的条件下适用于所有获得 该项目的主体 • 开源许可不得以某种特定技术或接口为前提，须保持技术中立 6 ©2022.2 iResearch Inc 立的RedHat公司以及在2008年开 源的谷歌Chromium浏览器内核架 构，本报告后文将有进一步介绍。 2010年之后互联网经济进入蓬勃发 展期，云计算、大数据计算、AI等 新兴技术的发展越来越多地开始基 于开源技术，开源对于企业打磨产 品、构建生态的战略意义也开始突 显 一种开放、非私有的软件开发 和运营方式的探索 • 但以美国市场为代表，80-90年代期间 软件产业加速发展，其商业价值已经 意味着将软件源代码 无偿在社区发布，此后二次开发者和使用者作为贡献方进行迭代，并在开源许可证的约束下使用迭代版本，社区中的其他 机构提供法律、行业发展等服务和指导，不同角色间互相配合，有效协作，达成技术交流或商业目的。开源运营和治理环 节，无论是由企业主导还是由基金会主导，在整个开源项目过程中都处于关键位置，包含软件开发和发行、市场推广、版 本迭代更新、版权管理和安全管理等内容，这些环节和商业企业

加快构建满足人工智能产业高质量发展和“人工智能+”高水 平赋能需求的标准体系，夯实标准对推动技术进步、促进企 业发展、引领产业升级、保障产业安全的支撑作用，更好推 进人工智能赋能新型工业化，特制定本指南。 一、产业发展现状 人工智能是引领新一轮科技革命和产业变革的基础性 和战略性技术，正成为发展新质生产力的重要引擎，加速和 实体经济深度融合，全面赋能新型工业化，深刻改变工业生 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 2 表的新技术加速迭代，人工智能产业呈现出创新技术群体突 破、行业应用融合发展、国际合作深度协同等新特点，亟需 完善人工智能产业标准体系。 彻党的二十大和二十届二中全会精神，认真落实中央经济工 作会议和全国新型工业化推进大会部署要求，完整、准确、 全面贯彻新发展理念，统筹高质量发展和高水平安全，加快 赋能新型工业化，以抢抓人工智能产业发展先机为目标，完 善人工智能标准工作顶层设计，强化全产业链标准工作协 同，统筹推进标准的研究、制定、实施和国际化，为推动我 国人工智能产业高质量发展提供坚实的技术支撑。 到 2026 年，标准与产业科技创新的联动水平持续提升，