. . . . . . . . . . . . . 7 2.3.1 预训练（Pretraining） . . . . . . . . . . . . . . . . . . 7 2.3.2 监督微调（Supervised Fine-Tuning, SFT） . . . . . . 7 2.3.3 强化学习（Reinforcement Learning, RL） . . . . . . . 7 DeepSeek）具有多个重要的优势，比如： 1. 保护隐私与数据安全。数据不外传：本地运行模型可以完全避免数据上 传至云端，确保敏感信息不被第三方访问。 2. 可定制化与优化。支持微调（Fine-tuning）：可以根据特定业务需求对模 型进行微调，以适应特定任务，如行业术语、企业内部知识库等。 3. 离线运行，适用于无网络环境。可在离线环境下运行：适用于无互联网 连接或网络受限的场景。提高系统稳定性：即使云服务宕机，本地大模型依 预训练（Pretraining） LLM 训练通常采用大规模无监督学习，即：1. 从互联网上收集大量文本数 据，如书籍、新闻、社交媒体等。2. 让模型学习词语之间的概率分布，理解 句子结构。3. 训练目标是最小化预测误差，使其能更好地完成语言任务。 2.3.2 监督微调（Supervised Fine-Tuning, SFT） 在预训练之后，通常需要对模型进行监督微调（SFT）：使用人工标注的数 据集，让模

k1.5  垂直领域优化：针对特定领域 （如医疗、法律）进行优化， 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 DeepSeek R1引发全球关注 推理能力：核心突破，专项升级  推理能力 • 强化学习驱动：DeepSeek R1-Zero 是首个完全基于强化学习（RL） 训练的推理模型，无需任何监督微调（SFT）步骤，打破传统模型依 赖大量标注数据的惯例。DeepSeek-R1 采用强化学习作为核心训练 方法，显著提升了模型的推理能力和语言表达的可读性。 • 推理能力专项提升：在除了利用强化学习模型结合跨领域训练提升模 DeepSeek R1 的核心突破在于其通过强化学习驱动的推理能力。该 模型在训练过程中，通过强化学习技术，显著提升模型的推理能力， 使其在数学、编程和自然语言推理等任务上表现出色。 传统依赖： 大规模监督微调（SFT） 创新思路： 强化学习（RL）驱动  推理效率 • 长思维链支持：DeepSeek R1 支持长链推理，能够生成数万字的 思维链，显著提高复杂任务的推理准确性，其长链推理能力在数学、

综合运用技术、 管理相结合的安全治理措施，防范应对不同类型安全风险。围绕人工智能研发 应用生态链，明确模型算法研发者、服务提供者、使用者等相关主体的安全责 任，有机发挥政府监管、行业自律、社会监督等治理机制作用。 1.4 开放合作、共治共享。在全球范围推动人工智能安全治理国际合作， 共享最佳实践，提倡建立开放性平台，通过跨学科、跨领域、跨地区、跨国界 的对话和合作，推动形成具有广泛共识的全球人工智能治理体系。 提高攻击效率，包括挖掘利用漏洞、破解密码、生成恶意代码、发送钓鱼邮件、 网络扫描、社会工程学攻击等，降低网络攻击门槛，增大安全防护难度。 （e）模型复用的缺陷传导风险。依托基础模型进行二次开发或微调，是 常见的人工智能应用模式，如果基础模型存在安全缺陷，将导致风险传导至下 游模型。 3.2.2 现实域安全风险 （a）诱发传统经济社会安全风险。人工智能应用于金融、能源、电信、交通、 民 理人才的培养，支持培养人工智能安全前沿基础领域顶尖人才，壮大无人驾驶、- 12 - 人工智能安全治理框架 智能医疗、类脑智能、脑机接口等领域安全人才队伍。 5.9 建立健全人工智能安全宣传教育、行业自律、社会监督机制。 面向政府、企业、社会公用事业单位加强人工智能安全规范应用的教育培训。 加强人工智能安全风险及防范应对知识的宣传，全面提高全社会人工智能安全 意识。指导支持网络安全、人工智能领域行业协会加强行业自律，制定提出高

28 例：课后作业 仔细思考政企、创业者必读 DeepSeek-R1是AI发展史上的重要里程碑 R1形成了新的AGI定律，加速了AGI发展 Alpha Zero时刻 • Alpha Go采用监督学习， 使用人类棋谱训练 • Alpha Zero采用强化学习， 自己跟自己对弈 ChatGPT时刻 • OpenAI ChatGPT大模型， 通过预训练方式，实现涌 现，理解人类语言和知识 成本：不需要投入千万、上亿资金，少量资金投入就可以 能力：不需要等待下一代AGI面面俱到的能力 响应：响应速度更快，用户体验更好 部署：可以私有化部署，保障政府企业数据安全 训练：不需要从头训练，只需要专业知识库或者微调就可以 人才：大模型训练复杂程度降低，对人才要求也降低 工具：已经有全套工具 走专业化大模型 之路，大模型落 地门槛大幅降低 从原子弹变成 「茶叶蛋」 52政企、创业者必读 基于DeepSeek是打造专业大模型、

语言处理、智能语音、计算机视觉、生物特征识别、人机混合增 强智能、智能体、群体智能、跨媒体智能、具身智能等标准。 1. 机器学习标准。规范机器学习的训练数据、数据预处理、 模型表达和格式、模型效果评价等，包括自监督学习、无监督学 习、半监督学习、深度学习、强化学习等标准。 2. 知识图谱标准。规范知识图谱的描述、构建、运维、共 享、管理和应用，包括知识表示与建模、知识获取与存储、知识 融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、

本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供了前所未有的性能，以此为基础，多模态融合的应用使得 m.svg 4 / 32 LLM 基础设施 01 03 02 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表

AI 后端 首先介绍一种最精简的本地部署大模型的方法。使用目前最强开源大模型 LlaMA3，2024 年 4 月 19 日，Meta 公司发布，共有 8B，70B 两种参数，分 为基础预训练和指令微调两种模型。 与 Llama2 相比，Llama3 使用了 15T tokens 的训练数据，在推理、数学、 代码生成、指令跟踪等能力获得大幅度提升。 3.1 大模型 Llama3 3.1.1 步骤

知识链优化策略 • 应用形式逻辑原理 • 构建论证结构图 • 使用逻辑关系词强 化连接 • 构建多层次知识图谱 • 实施知识检索与集成 • 进行跨域知识映射 优化提示语链不仅在于提示语的微调，更在于逻辑链、知识链与创意链的有效整合与融合。通过整合这三条链 条，可以提升生成内容的逻辑严谨性、知识广度与创新深度，达到最佳平衡。 创意链优化策略 • 应用创造性思维技巧 • 实施概念重组与融合

知识链优化策略 • 应用形式逻辑原理 • 构建论证结构图 • 使用逻辑关系词强 化连接 • 构建多层次知识图谱 • 实施知识检索与集成 • 进行跨域知识映射 优化提示语链不仅在于提示语的微调，更在于逻辑链、知识链与创意链的有效整合与融合。通过整合这三条链 条，可以提升生成内容的逻辑严谨性、知识广度与创新深度，达到最佳平衡。 创意链优化策略 • 应用创造性思维技巧 • 实施概念重组与融合