. . . . . . . . . . . . . 7 2.3.1 预训练（Pretraining） . . . . . . . . . . . . . . . . . . 7 2.3.2 监督微调（Supervised Fine-Tuning, SFT） . . . . . . 7 2.3.3 强化学习（Reinforcement Learning, RL） . . . . . . . 7 DeepSeek）具有多个重要的优势，比如： 1. 保护隐私与数据安全。数据不外传：本地运行模型可以完全避免数据上 传至云端，确保敏感信息不被第三方访问。 2. 可定制化与优化。支持微调（Fine-tuning）：可以根据特定业务需求对模 型进行微调，以适应特定任务，如行业术语、企业内部知识库等。 3. 离线运行，适用于无网络环境。可在离线环境下运行：适用于无互联网 连接或网络受限的场景。提高系统稳定性：即使云服务宕机，本地大模型依 预训练（Pretraining） LLM 训练通常采用大规模无监督学习，即：1. 从互联网上收集大量文本数 据，如书籍、新闻、社交媒体等。2. 让模型学习词语之间的概率分布，理解 句子结构。3. 训练目标是最小化预测误差，使其能更好地完成语言任务。 2.3.2 监督微调（Supervised Fine-Tuning, SFT） 在预训练之后，通常需要对模型进行监督微调（SFT）：使用人工标注的数 据集，让模

k1.5  垂直领域优化：针对特定领域 （如医疗、法律）进行优化， 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 DeepSeek R1引发全球关注 推理能力：核心突破，专项升级  推理能力 • 强化学习驱动：DeepSeek R1-Zero 是首个完全基于强化学习（RL） 训练的推理模型，无需任何监督微调（SFT）步骤，打破传统模型依 赖大量标注数据的惯例。DeepSeek-R1 采用强化学习作为核心训练 方法，显著提升了模型的推理能力和语言表达的可读性。 • 推理能力专项提升：在除了利用强化学习模型结合跨领域训练提升模 DeepSeek R1 的核心突破在于其通过强化学习驱动的推理能力。该 模型在训练过程中，通过强化学习技术，显著提升模型的推理能力， 使其在数学、编程和自然语言推理等任务上表现出色。 传统依赖： 大规模监督微调（SFT） 创新思路： 强化学习（RL）驱动  推理效率 • 长思维链支持：DeepSeek R1 支持长链推理，能够生成数万字的 思维链，显著提高复杂任务的推理准确性，其长链推理能力在数学、

综合运用技术、 管理相结合的安全治理措施，防范应对不同类型安全风险。围绕人工智能研发 应用生态链，明确模型算法研发者、服务提供者、使用者等相关主体的安全责 任，有机发挥政府监管、行业自律、社会监督等治理机制作用。 1.4 开放合作、共治共享。在全球范围推动人工智能安全治理国际合作， 共享最佳实践，提倡建立开放性平台，通过跨学科、跨领域、跨地区、跨国界 的对话和合作，推动形成具有广泛共识的全球人工智能治理体系。 提高攻击效率，包括挖掘利用漏洞、破解密码、生成恶意代码、发送钓鱼邮件、 网络扫描、社会工程学攻击等，降低网络攻击门槛，增大安全防护难度。 （e）模型复用的缺陷传导风险。依托基础模型进行二次开发或微调，是 常见的人工智能应用模式，如果基础模型存在安全缺陷，将导致风险传导至下 游模型。 3.2.2 现实域安全风险 （a）诱发传统经济社会安全风险。人工智能应用于金融、能源、电信、交通、 民 理人才的培养，支持培养人工智能安全前沿基础领域顶尖人才，壮大无人驾驶、- 12 - 人工智能安全治理框架 智能医疗、类脑智能、脑机接口等领域安全人才队伍。 5.9 建立健全人工智能安全宣传教育、行业自律、社会监督机制。 面向政府、企业、社会公用事业单位加强人工智能安全规范应用的教育培训。 加强人工智能安全风险及防范应对知识的宣传，全面提高全社会人工智能安全 意识。指导支持网络安全、人工智能领域行业协会加强行业自律，制定提出高

中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 估体系，希望通过这些数据洞察中国开源开发者在 专业模型是通用大模型和垂直领域数据、工作流的结合。这里通用大模型的基础能力是关键， 一个世界领先的通用大模型加上 RAG（搜索增强生成）行业知识库，做出的专业模型效果往往 超过开源模型加上一些垂直领域数据微调得到的行业模型。因此，专业模型虽然训练、推理成本 都较高，但考虑到较高的溢价空间，投入是值得的。 由于通用大模型的通用性，难以建立差异化壁垒，也难以形成网络效应，因此基础模型公司 的竞争将非常激烈，算力将成为长期竞争力的关键。 统内的 知识，包括生效和失效时间，知识的协作，以及便捷地为知识更新内容等。RAG 在知识维护上， 既不需要像传统 NLP 那样由人工先理解再抽取问答对，也不需要像微调（fine-tune）那样需要 非常专业的技术能力，以及微调之后的繁琐对齐（alignment）优化。所以如果客户的知识内容 45 / 111 更新比较频繁（假设每天需要追加、替换大量实时资讯内容），特别是金融证券、企业情报等场

28 例：课后作业 仔细思考政企、创业者必读 DeepSeek-R1是AI发展史上的重要里程碑 R1形成了新的AGI定律，加速了AGI发展 Alpha Zero时刻 • Alpha Go采用监督学习， 使用人类棋谱训练 • Alpha Zero采用强化学习， 自己跟自己对弈 ChatGPT时刻 • OpenAI ChatGPT大模型， 通过预训练方式，实现涌 现，理解人类语言和知识 成本：不需要投入千万、上亿资金，少量资金投入就可以 能力：不需要等待下一代AGI面面俱到的能力 响应：响应速度更快，用户体验更好 部署：可以私有化部署，保障政府企业数据安全 训练：不需要从头训练，只需要专业知识库或者微调就可以 人才：大模型训练复杂程度降低，对人才要求也降低 工具：已经有全套工具 走专业化大模型 之路，大模型落 地门槛大幅降低 从原子弹变成 「茶叶蛋」 52政企、创业者必读 基于DeepSeek是打造专业大模型、

传统云原生的运维，虽然依赖于度量， 但是通过监控、日志分析、跟踪链等发 现问题根因所在周期长，依靠人的经验 （并且人的经验无法数据化沉淀），而 得到问题根因后，只能通过人工去修复 或者管理 • 而大数据或者基于监督的AI技术的成熟、 运维领域模型趋于完整、云原生底座也 更成熟的基础上，利用大数据分析根因 （关联性分析）和利用AI进行基于根因分 析的自动化处理成为可能。 • 在精细化的基础上，完整较为成熟的自 动化能力，节约了人力成本同时提高了

AI 后端 首先介绍一种最精简的本地部署大模型的方法。使用目前最强开源大模型 LlaMA3，2024 年 4 月 19 日，Meta 公司发布，共有 8B，70B 两种参数，分 为基础预训练和指令微调两种模型。 与 Llama2 相比，Llama3 使用了 15T tokens 的训练数据，在推理、数学、 代码生成、指令跟踪等能力获得大幅度提升。 3.1 大模型 Llama3 3.1.1 步骤

知识链优化策略 • 应用形式逻辑原理 • 构建论证结构图 • 使用逻辑关系词强 化连接 • 构建多层次知识图谱 • 实施知识检索与集成 • 进行跨域知识映射 优化提示语链不仅在于提示语的微调，更在于逻辑链、知识链与创意链的有效整合与融合。通过整合这三条链 条，可以提升生成内容的逻辑严谨性、知识广度与创新深度，达到最佳平衡。 创意链优化策略 • 应用创造性思维技巧 • 实施概念重组与融合

知识链优化策略 • 应用形式逻辑原理 • 构建论证结构图 • 使用逻辑关系词强 化连接 • 构建多层次知识图谱 • 实施知识检索与集成 • 进行跨域知识映射 优化提示语链不仅在于提示语的微调，更在于逻辑链、知识链与创意链的有效整合与融合。通过整合这三条链 条，可以提升生成内容的逻辑严谨性、知识广度与创新深度，达到最佳平衡。 创意链优化策略 • 应用创造性思维技巧 • 实施概念重组与融合

版的主页上进行展示，以感谢他们对开源社区的无 私奉献。 开源的魅力 纸质图书的两次印刷的间隔时间往往较久，内容更新非常不方便。 而在本开源书中，内容更迭的时间被缩短至数日甚至几个小时。 1. 内容微调 如图 16‑3 所示，每个页面的右上角都有“编辑图标”。您可以按照以下步骤修改文本或代码。 1. 点击“编辑图标”，如果遇到“需要 Fork 此仓库”的提示，请同意该操作。 2. 修改 Markdown