LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32

网易数帆 领先的数字化转型技术与服务提供商 网易数帆是网易集团旗下 TO B 企业服务品牌，定位于领先的数字化转型 技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相 应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 数帆愿景：成为客户首选的数字化转型技术与服务提供商 关于数帆 01 企业篇 数帆历程 关于数帆 数帆实力 荣誉资质 客户名录 客户口碑 业务全景 产品篇 网易有数 网易轻舟 网易易智 客户案例篇 解决方案篇 数据中台解决方案 业务中台解决方案 金融分布式解决方案 金融大数据解决方案 零售大数据解决方案 零售行业 金融行业 制造行业 综合行业 02 03 04 发布轻舟云原生软件生产力平台、有数全链路数据生产力平台。 网易云品牌升级为网易数帆，发力数字化转型基础软件。 深度参与社区 Spark 3.x 版本开发；开源企业级数据湖探索平台 Kyuubi ；发布首个开源项目分布式存储系统 Curve。 2019 发布全链路数据中台解决方案。 2018 发布轻舟微服务、“瀚海”私有云及国内首款云计算全栈一体机。 2017 加入云原生计算基金会（CNCF）。 2016

www.iresearch.com.cn 基础软件开源界限划分 操作系统、数据库、中间件、AI框架底层代码按规范进行共享与协作 本篇报告研究的基础软件开源范围，是指研究“开源”中“基础软件”板块的情况。开源过程中，参与者可以共享、协作完成开发， 正好与基础软件庞大的开 究及绘制。 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 含编译器、基础编程语言、IED等 社区协作：鼓励各方在开放平台上协作 贡献，推动开源内容的发展 创新改进：通过资源共享与协作共生， 提升开源内容质量，并产生新的内容

AI能帮助人解决登陆火星、能源自由的问题 5政企、创业者必读 大模型是真智能，是人工智能的重大拐点。你相不相信？ 大模型是一场工业革命，将重塑所有产品和业务。你相不相信？ 不拥抱AI的组织和个人，会被拥抱AI的组织和个人淘汰。你相不相信？ 建立AI信仰 6政企、创业者必读 大模型不是泡沫，而是新一轮工业革命的驱动引擎 蒸汽革命 电气革命 信息革命 以大模型为代表的 人工智能革命 人工智能是新质生产力 能 大模型的进一步突破将引领人类社会进入智能化时代，对我们的生活方式、生产方式带来巨大变革 重塑经济图景 解决复杂问题 7政企、创业者必读 8 AI不仅是技术革新，更是思维方式和社会结构的变革 国家 产业 个人 企业政企、创业者必读 人工智能发展历程（一）  从早期基于规则的专家系统，走向基于学习训练的感知型AI  从基于小参数模型的感知型AI，走向基于大参数模型的认知型AI 从生成式AI，发展到推理型AI 专家系统 感知AI 认知AI 生成式AI 多模态AI 推理式AI 9政企、创业者必读 人工智能发展历程（二）  从单纯对话的大模型AI，发展到具有行动和执行能力的智能体AI  从数字空间中的AI，走向能理解和操控物理空间的AI  从解决现实问题的AI，走向解决科学问题的科学型AI 大模型AI 智能体AI 物理AI 科学AI 10政企、创业者必读 面对全球大模型产业之争，要打赢「三大战役」

海外⼈才加⼊：
i. ⼤模型⽅⾯。团队成员发明了RoPE相对位置编码，是Meta
LLaMa和Google
PALM等⼤多数 主流模型的重要组成部分；发明了group
normalization，是Stable
Diffusion等AI模型成功 的关键组件；发明了
Transformer-XL，是历史上第⼀个在词级别和字级别都全⾯超越RNN 的注意⼒语⾔模型，解决了语⾔建模上下⽂⻓度的关键问题，定义了语⾔建模的新标准；曾 架，也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Los 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的 模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗 ⼝、降采样、⼩模型等技术实现上下⽂窗⼝延⻓，都是“技术捷径”）
c. 通过这篇⽂章，您可以了解更多技术⽅⾯信息：专访⽉之暗⾯杨植麟：lossless
long
context
is

观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 高瞻，Gitee AI 运营 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111

1 1 /*使用电脑阅读，获得最佳体验 1 1 序 毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横 空出世，标志着对话式 LLM 开始进入公众视野，为人们 提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新 Google 紧随其后推出 Bard，作为其首次亮相的对话 LLM 产品，无疑具有其里程碑意义，尽管它的首秀并不尽 如人意，车翻了又翻。 三、 Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM 在语言理解和多模态处理能力方面的探索，甚至 Claude 2 还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的 Llama 2 更成为了 LLM 领域开源势力的典型代表，它的 与“磁力链开源” Mistral 8x7B 两大神作，也凭借不输 GPT-4 的实力，将 LLM 狂 潮卷到天际。 四、 Stable Diffusion 和 Midjourney 这两大图像生成系统 的出现，极大地拓展和加速了 LLM 在计算机视觉领域的应 用，它们突破了传统图像生成方式的局限，仅需要用户提供 文字描述，就可以生成高质量的数字艺术作品。它们的图像 生成质量、样式多样性和用户便捷性都是极大的突破。这为

www.iresearch.com.cn 来源：艾瑞咨询研究院自主研究及绘制。 企业的开源商业模型（一） 软件开源为企业带来直接收益、渠道收益、行业生态收益 从商业成功的角度上看，企业发布开源软件能够为自身带来直接商业化收益、渠道收益和市场影响力提升带来的产业协同 收益。其中，直接商业化收益 开 源运营，而开源运营的核心是通过不断提升用户和贡献者的数量来构建“质”和“量”互相驱动和促进的良性循环。如果 没有成功的开源运营，软件开源就无法产生显著的商业化效果。 企业实施软件开源战略的商业模型 企业之内 企业之外 软件开源 用户增长 加速创新 产品升级 提供付费订阅版本 提供专业配套服务 引流产生广告收入 直接 商业化 渠道化 为互补产品宣传、导流 提升企业市场声量 来源：艾瑞咨询研究院自主研究及绘制。 企业的开源商业模型（二） 就市场推广而言，软件开源通常能更快实现用户触达 建立在企业进行开源软件运营的基础上，开源对企业的商业价值通常通过“引流”来实现，在某种意义上，这可以类比为 一些2C的软件“先免费，再收费”或“免费软件+付费服务”的业务模式。如果我们以软件产业商务拓展的双漏斗模型来 衡量开源战略的商务价值，对比常规的闭源商业软件业务模式，开源软件在用户触达、加深产品了解、便捷化试用这三个

2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 ……………………… 14 6.4 社会公众安全应用指引 制和方式，对确需政府监管事项及时予以响应。 1.3 技管结合、协同应对。面向人工智能研发应用全过程，综合运用技术、 管理相结合的安全治理措施，防范应对不同类型安全风险。围绕人工智能研发 应用生态链，明确模型算法研发者、服务提供者、使用者等相关主体的安全责 任，有机发挥政府监管、行业自律、社会监督等治理机制作用。 1.4 开放合作、共治共享。在全球范围推动人工智能安全治理国际合作， 共享最佳实践， 应动态调整更新，需要各方共同对治理框架持续优化完善。 2.1 安全风险方面。通过分析人工智能技术特性，以及在不同行业领域 应用场景，梳理人工智能技术本身，及其在应用过程中面临的各种安全风险 隐患。 2.2 技术应对措施方面。针对模型算法、训练数据、算力设施、产品服务、 应用场景，提出通过安全软件开发、数据质量提升、安全建设运维、测评监测 加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性- 3 - 人工智能安全治理框架

五、中国开源走向世界，塑造新时代影响力 …………………………………………………………… 117 六、开源新创投资持续发光发热 ………………………………………………………………………… 117 七、开源操作系统迎来新一轮繁荣期 …………………………………………………………………… 117 八、Rust 迈上新征程 …………………………………………………………………………………… 117 九、AI & 低代码将会如何改变开源，值得关注 五、中国开源走向世界，塑造新时代影响力 …………………………………………………………… 122 六、开源新创投资持续发光发热 ………………………………………………………………………… 126 七、开源操作系统迎来新一轮繁荣期 …………………………………………………………………… 127 八、Rust 迈上新征程 …………………………………………………………………………………… 128 九、AI & 低代码将会如何改变开源，值得关注 都是当之无愧的国际开源项目，参与人 数多，涉及地区广。 NixOS/nixpkgs 工作时间分布打孔图 每一位开发者在使用 Linux 的过程中想必都遭受过软件包版本冲突的痛苦折磨。NixOS 系统以非常出色 的包管理工具获取了一大批粉丝。一年过去了，NixOS/nixpkgs 仍然以非常高的活跃度位居榜单前列， 期待未来有更出色的表现。 50 2 中国活跃度排名 Top30 repo_name