LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained

. . . . . . . . . 9 2.3.9 EBSynth . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.4 AI 编程工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.4.1 DEvv . . . . . . . . . . . 务，如自然语言理解、图像识别、语音识别等。 闭源大模型包括 OpenAI 的 GPT 系列和 Google 的 BERT。这些模型因其 高效的学习能力和强大的通用性而受到关注。 开源大模型以 Meta 的 Llama 系列，2024 年 4 月，Llama3 发布，包括 8B 和 70B 模型。 图 2，时间线主要根据技术论文的发布日期（例如提交至 arXiv 的日期）来 确定大型语言模型（大小超过 10B）的发展历程。如果没有相应的论文，我们 将模型的日期设定为其公开发布或宣布的最早时间。我们用黄色标记那些公开 可用的模型检查点。由于空间限制，我们只包括那些公开报道评估结果的大型 语言模型。 Figure 2: 各个大型语言模型发布时间线 5 1.4 基础概念 1.4.1 上下文窗口 上下文窗口指的是模型一次可以处理的最大文本长度。这个长度通常用“to- kens”（标记）来表示，每个标记可以是一个单词、子词或单个字符，具体取决

训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 2、撰写python脚本； 3、提取并合并网址； 4、提取网址内容； 5、写入文件。 任务 你需要完成以下两个任务： 板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 数据分析 Open AI o3mini 响应速度快，高效输出数据分析 结果，分析各因素对关键指标生 存率的影响，语言表达自然，重 点突出结合历史背景对数据规律 进行验证，但没有察觉数据异常。 DeepSeek R1 详细展示长思维链，精准提取关键指 标“幸存率”，分析多个因素特征对 幸存率的影响，结合历史背景对数据 3.5 sonnet 基于数据集，在整体数据概括后提供多个 深入数据挖掘方向，根据需求输入研究倾 向，高效生成多个维度的数据分析，语言 简洁，挖掘深度较浅。 Kimi k1.5 提供数据的潜在用途方向，深入分 析过程中，从多个维度（如时间、 语言、地区）深入挖掘数据意义和 关联性，进一步总结趋势结论并提 出相关建议。  Kimi k1.5该任务中表现最为出色，对特征进行精准

4: Ollama 软件启动 deepseek-r1 界面 1.3 DeepSeek 本地运行使用演示 基于上面步骤搭建完成后，接下来提问 DeepSeek 一个问题：请帮我分析 Python 编程如何从零开始学习?，下面是它的回答，首先会有一个 think 标签，这里面嵌入的是它的思考过程，不是正式的回复： 图 5: deepseek-r1 回复之思考部分 等我们看到另一个结束标签 think 近年来，人工智能（AI）技术的快速发展催生了大型语言模型（（Large Language Model, LLM））的兴起。LLM 在自然语言处理（NLP）领域 发挥着越来越重要的作用，广泛应用于智能问答、文本生成、代码编写、机 器翻译等任务。LLM 是一种基于深度学习的人工智能模型，其核心目标是 通过预测下一个单词来理解和生成自然语言。训练 LLM 需要大量的文本数 据，使其能够掌握复杂的语言模式并应用于不同任务。 元化，模型最后就会越通用；即使包括噪声数据，模型仍能通过扩展规律提 取出通用的知识。而 Transformer 这种架构正好完美做到了 Scaling Laws， Transformer 就是自然语言处理领域实现扩展规律的最好的网络结构。 2.2 Transformer 基础架构 LLM 依赖于 2017 年 Google 提出的 Transformer 模型，该架构相比传统的 RNN（递归神经网络）和

基础数据服务标准。规范人工智能研发、测试、应用等 过程中涉及数据服务的要求，包括数据采集、数据标注、数据治 理、数据质量等标准。 2. 智能芯片标准。规范智能芯片相关的通用技术要求，包 括智能芯片架构、指令集、统一编程接口及相关测试要求、芯片 数据格式和协议等标准。 3. 智能传感器标准。规范单模态、多模态新型传感器的接 口协议、性能评定、试验方法等技术要求，包括智能传感器的架 构、指令、数据格式、信息提取方法、信息融合方法、功能集成 与开发 框架的适配要求、人工智能计算任务调度、分布式计算等软硬件 协同任务的交互协议、执行效率和协同性能等标准。 （三）关键技术标准 关键技术标准主要包括机器学习、知识图谱、大模型、自然 语言处理、智能语音、计算机视觉、生物特征识别、人机混合增 强智能、智能体、群体智能、跨媒体智能、具身智能等标准。 1. 机器学习标准。规范机器学习的训练数据、数据预处理、 模型表达和格式、模型效果评价等，包括自监督学习、无监督学 能要求等标准。 3. 大模型标准。规范大模型训练、推理、部署等环节的技 术要求，包括大模型通用技术要求、评测指标与方法、服务能力 成熟度评估、生成内容评价等标准。 4. 自然语言处理标准。规范自然语言处理中语言信息提取、 文本处理、语义处理等方面的技术要求和评测方法，包括语法分 析、语义理解、语义表达、机器翻译、自动摘要、自动问答、语 言大模型等标准。 5. 智能语音标准。规范前端处理、语音处理、语音接口、

复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAl-o1正式版。 (Pass@1) (Percentile) 文体转换 个性化推荐 翻译与转换 多语言翻译 异常检测 多源信息融合 知识与推理 知识图谱构建 流程优化 数据可视化 数据分析 趋势分析 多模态交互 任务执行 任务协调 工具调用 格式转换 关系抽取 语言理解 文案写作 代码注释 故事创作 通用问答 专业领域问答 因果推理 知识推理 问答系统 逻辑推理 自然语言处理 文本生成与创作 建议生成 风险评估 文本创作 文章/故事/诗歌写作 营销文案 、广告语生成 社交媒体内容（如推文 、帖子） 剧本或对话设计 l 摘要与改写 长文本摘要（论文 、报告） 文本简化（降低复杂度） 多语言翻译与本地化 l 结构化生成 表格 、列表生成（如日程安排 、 菜谱） 代码注释 、文档撰写 文本生成 文本生成 03 02 01 语义分析 • 语义解析 • 情感分析(评论、反馈)

文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 理） 因果分析（事件关联性） 语义分析 语义解析 情感分析（评论、反馈） 意图识别（客服对话、用户查询） 实体提取（人名、地点、事件） 文本分类 文本分类 主题标签生成（如新闻分类） 垃圾内容检测 编程与代码相关 代码调试 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GPT-4（OpenAI），BERT（Google），主要用于语言生成、语言理解、文本分类、翻译 等任务。 快思慢想：效能兼顾 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低

文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 理） 因果分析（事件关联性） 语义分析 语义解析 情感分析（评论、反馈） 意图识别（客服对话、用户查询） 实体提取（人名、地点、事件） 文本分类 文本分类 主题标签生成（如新闻分类） 垃圾内容检测 编程与代码相关 代码调试 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GPT-4（OpenAI），BERT（Google），主要用于语言生成、语言理解、文本分类、翻译 等任务。 快思慢想：效能兼顾 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低

文、图、乐、剧 Innovator For Social 智能角色交互体 Innovator For Science & Industry 行业大模型 基座大模型 人机协同 Chatbot •自然语言对话 Reasoner •基本的推理和问 题解决能力 Agent •代表用户执行任 务，具备自主行 动能力 Innovator • 参与发明和创造， 增强人类的创造力 和创新能力 Organization Googl e kaggl e全球医疗对话理解 金牌 2021全球人工智能技术创新大赛-小布助手对话短文本语义匹配 一等奖 2022全球人工智能技术创新大赛-商品标题实体识别 一等奖 第十八届中国计算语言学大会-小牛杯中文幽默计算 一等奖 第十届全国社会媒体处理大会-中文隐式情感分析 一等奖 2021全球开放数据应用创新大赛-基于文本挖掘的企业隐患排查质量分析模型 第一名 2021中国计算机学会大数据与计算智能大赛-“千言〞 DeepSeek 三种模式对比 • 基础模型（V3）：通用模型（2024.12），高效便捷，适用于绝大多数任务，“ ”任务 • 深度思考（R1）：推理模型，复杂推理和深度分析任务，如数理逻辑推理和编程代码，“ ”任务 • 联网搜索：RAG（检索增强生成），知识库更新至 DeepSeek 两种模型对比 操作规范清晰 且对结果有明确要求 操作路径多元、开放， 且对结果没有明确要求 DeepSeek

人工智能发展历程（一）  从早期基于规则的专家系统，走向基于学习训练的感知型AI  从基于小参数模型的感知型AI，走向基于大参数模型的认知型AI  从擅长理解的认知型AI，发展到擅长文字生成的生成式AI  从语言生成式AI，发展到可理解和生成声音、图片、视频的多模态AI  从生成式AI，发展到推理型AI 专家系统 感知AI 认知AI 生成式AI 多模态AI 推理式AI 9政企、创业者必读 人工智能发展历程（二） Go采用监督学习， 使用人类棋谱训练 • Alpha Zero采用强化学习， 自己跟自己对弈 ChatGPT时刻 • OpenAI ChatGPT大模型， 通过预训练方式，实现涌 现，理解人类语言和知识 • 诞生预训练Scaling Law Deepseek-R1时刻 • o1采用强化学习，但训练复 杂推理能力，技术未公开 • DeepSeek-R1 探索出RL方 法，且公开技术 • 大模型的六大能力 47 基本 能力 业务 能力 创新 能力 赋能 未来产业 创意 能力 赋能企业 数转智改 数学计算 语义理解 逻辑推理 语言翻译 文本创作 自动驾驶 具身智能 1 2 4 5 知识问答 代码编程 文本生成 多轮对话 图像生成 视频生成 音频生成 A I 数字人 生物制药 新材料研究 脑机接口 基础科学 能源自由 宇宙探索 生命科学 科学 能力