全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取 包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。 人工智能安全治理框架 （V1.0）- 2 - 人工智能安全治理框架 1.2 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势，从人工 智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对 措施。关注安全风险发展变化，

业发展、引领产业升级、保障产业安全的支撑作用，更好推 进人工智能赋能新型工业化，特制定本指南。 一、产业发展现状 人工智能是引领新一轮科技革命和产业变革的基础性 和战略性技术，正成为发展新质生产力的重要引擎，加速和 实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 2 表的新技术加速迭代，人工智能产业呈现出创新技术群体突 破、行业应用融合发展、国际合作深度协同等新特点，亟需 （一）人工智能标准体系结构 人工智能标准体系结构包括基础共性、基础支撑、关键 技术、智能产品与服务、赋能新型工业化、行业应用、安全 /治理等 7 个部分，如图 1 所示。其中，基础共性标准是人 工智能的基础性、框架性、总体性标准。基础支撑标准主要 规范数据、算力、算法等技术要求，为人工智能产业发展夯 实技术底座。关键技术标准主要规范人工智能文本、语音、 图像，以及人机混合增强智能、智能体、跨媒体智能、具身

互联网创造了能写140个字的推特和分享照片的Instagram AI能帮助人解决登陆火星、能源自由的问题 5政企、创业者必读 大模型是真智能，是人工智能的重大拐点。你相不相信？ 大模型是一场工业革命，将重塑所有产品和业务。你相不相信？ 不拥抱AI的组织和个人，会被拥抱AI的组织和个人淘汰。你相不相信？ 建立AI信仰 6政企、创业者必读 大模型不是泡沫，而是新一轮工业革命的驱动引擎 蒸汽革命 电气革命 信息革命 多模态模态在能力变强的同时，规模正在变小 20政企、创业者必读 21 DeepSeek出现之前的十大预判 之八 智能体推动大模型快速落地  能够调用各种工具，具有行动能力  调用企业专业知识，更懂企业  将日常重复性业务流程形成Playbook，实现流程自动化  通过目标拆解，多次调用大模型以及专家模型协同，形成 慢思考能力 传统软件是辅助人的工具，Agent是能够自主工作的数字员工，是新的生产力政企、创业者必读 360提出「以模制模」新解法，应对DeepSeek安全问题 DeepSeek六大应用方向之六 AI安全：实现安全的「自动驾驶」 46政企、创业者必读 大模型的六大能力 47 基本 能力 业务 能力 创新 能力 赋能 未来产业 创意 能力 赋能企业 数转智改 数学计算 语义理解 逻辑推理 语言翻译 文本创作 自动驾驶 具身智能 1 2 4 5 知识问答

。 舆论分析这个概念在最前沿科技或理论中的潜在应用，列出十个充满想象力和震撼性，前所未有的应用。 如果要量化研究审美智能概念，请提出一个合理的，有效的，各指标不重叠的，你自己能提取数据的指数体系框架，不少于三十 个指数。 请大家研究任何问题，先用这四个提示词进行提问。一是跨学科融合，二是深层次原理，三是概念前沿应用，四是如何量化分析。 任何学术概念。 里面会有些冗余信息，可以删除回复中 研究现状部分围绕研究主题 进一步细分为多个研究层次， 结构合理 内容结构完整，格式较一般 综述结构较为标准，在中文 文献分析上具有优势 在写作前，系统会先生成详细的写 作大纲，为文章的结构提供清晰的 框架。文本内容结构清晰，包括历 史背景、当前趋势、应用领域、挑 战与局限、未来方向。每个部分都 有详细的子标题，结构合理，层次 分明 PS：使用感受会因个体差异而有不同，仅作参考 生成综述对比：完整性与全面性 Meta成立四个专门研究小组来分析DeepSeek R1的工作 原理，并基于此改进其大模型Llama 。 • 英伟达、微软、亚马逊等国际巨头纷纷接入DeepSeek。 DeepSeek R1引发全球关注 推理能力：核心突破，专项升级  推理能力 • 强化学习驱动：DeepSeek R1-Zero 是首个完全基于强化学习（RL） 训练的推理模型，无需任何监督微调（SFT）步骤，打破传统模型依 赖大量标注数据的惯例。DeepSeek-R1

+ 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 成的内容。 ▪ 挑战预设思维模式：通过打破任务的常规设定，促使AI生成具有挑战性和创新性的内容。 灵活运用任务开放性：给AI自由发挥的空间 创新设计策略： ▪ 设定基本框架，留出探索余地：提示语应提供一个结构化的框架，包含具体的生成目标，但不应过度限制表 达方式或细节内容，给AI足够的空间进行创造。 ▪ 多维度任务引导：通过引导AI从多个角度看待问题，激发其对生成内容的多样化思考。 AI缺陷：臆造之辞 从期望结果 开始 倒推提示语 结构 灵活调整提 示语细节 矛盾思维法：利用对立促进创新 引入对立概 念 利用矛盾性促进创新 提出冲突性任务要求 融合批判性思维与创新推理 • 质疑既有框架 • 创新推理 多方论证与批判结合， 增强生成内容的全面性 涌现思维模型：利用集体智慧的提示语设计 提示语链的概念与特征 提示语链是用于引导AI生成内容的连续性提示语序列。通过将复

+ 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 成的内容。 ▪ 挑战预设思维模式：通过打破任务的常规设定，促使AI生成具有挑战性和创新性的内容。 灵活运用任务开放性：给AI自由发挥的空间 创新设计策略： ▪ 设定基本框架，留出探索余地：提示语应提供一个结构化的框架，包含具体的生成目标，但不应过度限制表 达方式或细节内容，给AI足够的空间进行创造。 ▪ 多维度任务引导：通过引导AI从多个角度看待问题，激发其对生成内容的多样化思考。 AI缺陷：臆造之辞 从期望结果 开始 倒推提示语 结构 灵活调整提 示语细节 矛盾思维法：利用对立促进创新 引入对立概 念 利用矛盾性促进创新 提出冲突性任务要求 融合批判性思维与创新推理 • 质疑既有框架 • 创新推理 多方论证与批判结合， 增强生成内容的全面性 涌现思维模型：利用集体智慧的提示语设计 提示语链的概念与特征 提示语链是用于引导AI生成内容的连续性提示语序列。通过将复

本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps gitbook/assets/ml_system.svg 4 / 32 LLM 基础设施 01 03 02 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 vector-database/） 7 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning) 大模型框架指专门设计用于构建、训练和部署大型机器 学习模型和深度学习模型的软件框架。这些框架提供了 必要的工具和库，使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量，并有效地利用硬件资源。 微调（Fine Tuning）是在大模型框架基础上进行的一个 关键步骤。在模型经过初步的大规模预训练后，微调是

DeepSeek）具有多个重要的优势，比如： 1. 保护隐私与数据安全。数据不外传：本地运行模型可以完全避免数据上 传至云端，确保敏感信息不被第三方访问。 2. 可定制化与优化。支持微调（Fine-tuning）：可以根据特定业务需求对模 型进行微调，以适应特定任务，如行业术语、企业内部知识库等。 3. 离线运行，适用于无网络环境。可在离线环境下运行：适用于无互联网 连接或网络受限的场景。提高系统稳定性：即使云服务宕机，本地大模型依 核心创新 2：通用强化学习 第一阶段 R1-Zero 虽然展现出惊人的推理能力提升，但是也出现了回复时 语言混合，非推理任务回复效果差的问题，为了解决这些问题，DeepSeek 提出通用强化学习训练框架。 如图7所示，通用强化学习（General Reinforcement Learning）基于 SFT- checkpoint，模型进行通用强化学习（RL）训练，优化其在推理任务和其他 教程作者：郭震，工作

GPU利⽤率低：升级⾼带宽内存（如DDR5 5600+）。 扩展交换空间： 六、注意事项与⻛险提示 1. 成本警示： 70B模型：需3张以上80G显存显卡（如RTX A6000），单卡⽤户不可⾏。 671B模型：需8xH100集群，仅限超算中⼼部署。 2. 替代⽅案： 个⼈⽤户推荐使⽤云端API（如硅基流动），免运维且合规。 3. 国产硬件兼容性：需使⽤定制版框架（如昇腾CANN、沐曦MXMLLM）。

型，更方便！更舒心！关键搭建简单，顺利的话，三五分钟搞定。后面完全免费 畅享使用大模型！ Figure 20: 使用开源 LobeChat 搭建美观的大模型前端界面 19 4.1 LobeChat 开源框架，经过我的调研，发现 LobeChat 是目前最优化、最美观和炫酷的前 端界面，适配各个大模型，支持文字、语音、图片的多模态交互。 4.2 步骤一安装 docker 4.2.1 了解 docker 零代码本地搭建个人知识库 5.1 本地知识库优势 部署本地知识库，可以借助大模型能力，自动检索我们的工作学习文档，实现 对文档内容的实时搜索与问答。 因为大模型、知识库和文档全部运行在本地，所以公司内的业务数据不会泄 密，个人隐私不会泄密，保证这些同时，让：办公效率直接原地起飞！ 搭建完成后，实现的效果如图 28： Figure 28: 按照本文教程走完实现的本地知识库效果，大模型 + 个人知识库，