LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32

观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 高瞻，Gitee AI 运营 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111

通过阅读本章，你应 该能够克隆仓库、查看项目历史、修改文件和贡献更改。 如果本书在此刻自燃，你应该已经能够使用已经学到 的漂亮有用的 Git 知识获取到另外一份拷贝。 第三章 关注于 Git 的分支模型。分支模型通常被认为是 Git 的杀手级特性。 这里，你将学习到究竟是什么让 Git 与众不同。学习完本章，你可能需要一段时间来思考， 在 Git 分支成为你的生活的一部分之前，你到底是如何生 活的。 第四章 抱。 第十章 深入 Git 隐晦而漂亮的实现细节。现在，你已经知道所有有关 Git 的知识， 能够熟练运用 Git 的强大优雅 的功能。接下来，你可以继续学习 Git 如何存储对象、 Git 的对象模型是怎样的、打包文件的细节、服务器协议 等更多知识。 本书自始至终都将引用本章的内容，以便你能够在当时就可以深入了解。 但是，如果你像我们一 样希望深入学习技术细节，你可能想先阅读第十章。我们将选择权交给你。 3. 分布式版本控制. 更进一步，许多这类系统都可以指定和若干不同的远端代码仓库进行交互。籍此，你就可以在同一个项目中，分 别和不同工作小组的人相互协作。 你可以根据需要设定不同的协作流程，比如层次模型式的工作流，而这在以 前的集中式系统中是无法实现的。 17 Git 简史 同生活中的许多伟大事物一样，Git 诞生于一个极富纷争大举创新的年代。 Linux 内核开源项目有着为数众多的参与者。

通过阅读本章，你应该能够克隆仓库、查看项目历史、修改文 件和贡献更改。 如果本书在此刻自燃，你应该已经能够使用已经学到的漂亮 有用的 Git 知识获取到另外一份拷贝。 第三章 关注于 Git 的分支模型。分支模型通常被认为是 Git 的杀手级特性。 这里，你将学习到究竟是什么让 Git 与众不同。学习完本章，你可能需要一段 时间来思考， 在 Git 分支成为你的生活的一部分之前，你到底是如何生活的。 第十章 深入 Git 隐晦而漂亮的实现细节。现在，你已经知道所有有关 Git 的知 识， 能够熟练运用 Git 的强大优雅的功能。接下来，你可以继续学习 Git 如何 存储对象、 Git 的对象模型是怎样的、打包文件的细节、服务器协议等更多知 识。 本书自始至终都将引用本章的内容，以便你能够在当时就可以深入了 解。 但是，如果你像我们一样希望深入学习技术细节，你可能想先阅读第十 章。我们将选择权交给你。 分布式版本控制. 更进一步，许多这类系统都可以指定和若干不同的远端代码仓库进行交互。籍 此，你就可以在同一个项目中，分别和不同工作小组的人相互协作。 你可以 根据需要设定不同的协作流程，比如层次模型式的工作流，而这在以前的集中 式系统中是无法实现的。 ▪ ▪ ▪ ▪ ▪ GIT 简史 同生活中的许多伟大事物一样，Git 诞生于一个极富纷争大举创新的年代。 Linux 内核开源项目有着为数众多的参与者。

海外⼈才加⼊：
i. ⼤模型⽅⾯。团队成员发明了RoPE相对位置编码，是Meta
LLaMa和Google
PALM等⼤多数 主流模型的重要组成部分；发明了group
normalization，是Stable
Diffusion等AI模型成功 的关键组件；发明了
Transformer-XL，是历史上第⼀个在词级别和字级别都全⾯超越RNN 的注意⼒语⾔模型，解决了语⾔建模上下⽂⻓度的关键问题，定义了语⾔建模的新标准；曾 机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lossless
Long
Context
Window）”，⽀持
20
万汉字输⼊，实现对⻓⽂本的⽆ 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的 模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗 ⼝、降采样、⼩模型等技术实现上下⽂窗⼝延⻓，都是“技术捷径”）
c. 通过这篇⽂章，您可以了解更多技术⽅⾯信息：专访⽉之暗⾯杨植麟：lossless
long
context
is

1 1 /*使用电脑阅读，获得最佳体验 1 1 序 毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横 空出世，标志着对话式 LLM 开始进入公众视野，为人们 提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新 Google 紧随其后推出 Bard，作为其首次亮相的对话 LLM 产品，无疑具有其里程碑意义，尽管它的首秀并不尽 如人意，车翻了又翻。 三、 Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM 在语言理解和多模态处理能力方面的探索，甚至 Claude 2 还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的 Llama 2 更成为了 LLM 领域开源势力的典型代表，它的 广大的个人用户和创意行业提供了强有力的工具，彻底改变 了数字艺术内容的创作方式。同时，它们也引发了人工智能 在创作领域的伦理和法律讨论。LLM 杀进多媒体领域。往 后 DALL-E 3 模型升级、Adobe 产品整合 LLM 能力、 语音模型 whisper-3 更新、AI 虚拟主播创造等，都是在 这条路上的进一步发展。 五、 AI 编程方面，Copilot 可以根据开发者的代码提示自动补 全代码，大大

AI能帮助人解决登陆火星、能源自由的问题 5政企、创业者必读 大模型是真智能，是人工智能的重大拐点。你相不相信？ 大模型是一场工业革命，将重塑所有产品和业务。你相不相信？ 不拥抱AI的组织和个人，会被拥抱AI的组织和个人淘汰。你相不相信？ 建立AI信仰 6政企、创业者必读 大模型不是泡沫，而是新一轮工业革命的驱动引擎 蒸汽革命 电气革命 信息革命 以大模型为代表的 人工智能革命 人工智能是新质生产力 能 大模型的进一步突破将引领人类社会进入智能化时代，对我们的生活方式、生产方式带来巨大变革 重塑经济图景 解决复杂问题 7政企、创业者必读 8 AI不仅是技术革新，更是思维方式和社会结构的变革 国家 产业 个人 企业政企、创业者必读 人工智能发展历程（一）  从早期基于规则的专家系统，走向基于学习训练的感知型AI  从基于小参数模型的感知型AI，走向基于大参数模型的认知型AI 人工智能发展历程（二）  从单纯对话的大模型AI，发展到具有行动和执行能力的智能体AI  从数字空间中的AI，走向能理解和操控物理空间的AI  从解决现实问题的AI，走向解决科学问题的科学型AI 大模型AI 智能体AI 物理AI 科学AI 10政企、创业者必读 面对全球大模型产业之争，要打赢「三大战役」 AGI之战 应用场景之战 大模型安全之战 • 探索超越人类的超级人工 智能AGI

Contents 1 AI 大模型基础 4 1.1 AIGC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 AGI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 大模型 . . . . . . . . . . . . . . . 12 2.5.6 Snack Prompt . . . . . . . . . . . . . . . . . . . . . . . . 12 2.6 AI 大模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.6.1 AgentGPT . . . . . . . . . 13 2.6.4 Llama3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3 零代码本地部署 AI 后端 13 3.1 大模型 Llama3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.1 步骤 1：安装 Ollama . . . . .

本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 5支持联网查询网址，Claude 3.5 sonnet暂不支持；  四个模型均能根据上传的网页代码，对多个网址链接进行筛选、去重，完全提取出符合指令要求的所有网址链接并形成列表；  在复杂爬虫任务上，DeepSeek R1与Open AI o3min生成的代码均能正常执行数据采集任务，o3响应速度更快，R1数据采集结果更加完 整准确；其他2个模型都存在多次调试但代码仍然运行不成功的问题，如代码中罗列URL不全、输出文本中提取数据为空等。

. . . . . . . . . . . 7 3.1.1 核心创新 1：含 R1-Zero 的中间推理模型 . . . . . . . 8 3.1.2 核心创新 2：通用强化学习 . . . . . . . . . . . . . . . 8 3.2 含 R1-Zero 的中间推理模型训练过程 . . . . . . . . . . . . . . 9 3.3 通用强化学习训练过程 . . . . . . . . . 11 1 1 本地部署并运行 DeepSeek 1.1 为什么要在本地部署 DeepSeek 在本地搭建大模型（如 DeepSeek）具有多个重要的优势，比如： 1. 保护隐私与数据安全。数据不外传：本地运行模型可以完全避免数据上 传至云端，确保敏感信息不被第三方访问。 2. 可定制化与优化。支持微调（Fine-tuning）：可以根据特定业务需求对模 离线运行，适用于无网络环境。可在离线环境下运行：适用于无互联网 连接或网络受限的场景。提高系统稳定性：即使云服务宕机，本地大模型依 然可以正常工作，不受外部因素影响。 本教程搭建 DeepSeek 好处 本地搭建 DeepSeek 三个比较实际的好处： • 本教程接入的是 DeepSeek 推理模型 R1，开源免费，性能强劲 • 本教程搭建方法 零成本，不需花一分钱。 • 为了照顾到大部分读者，推荐的搭建方法已将电脑配置要求降