全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取 包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。 人工智能安全治理框架 （V1.0）- 2 - 人工智能安全治理框架 1.2 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势，从人工 智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对 措施。关注安全风险发展变化，

图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 依赖提示语补偿能力短板（如要求分 步思考、提供示例）。 关键原则 3 2 1 模型选择 • 优先根据任务类型而非模型热度选择（如数学任务选推理模型，创意任务选通用 模型）。 提示语设计 • 推理模型：简洁指令，聚焦目标，信任其内化能力。（“要什么直接说”）。 • 通用模型：结构化、补偿性引导（“缺什么补什么”）。 避免误区 • 不要对推理模型使用“启发式”提示（如角色扮演），可能干扰其逻辑主线。 复杂问题、需模型自主 推理 “我需要优化用户登录流程， 请分析当前瓶颈并提出3种方 案。” ✅ 激发模型深层推理 ❌ 需清晰定义需求边界 混合模式 结合需求描述与关键 约束条件 平衡灵活性与可控性 “设计一个杭州三日游计划， 要求包含西湖和灵隐寺，且 预算控制在2000元内。” ✅ 兼顾目标与细节 ❌ 需避免过度约束 启发式提问 通过提问引导模型主 动思考（如“为什 么”“如何”）

图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 依赖提示语补偿能力短板（如要求分 步思考、提供示例）。 关键原则 3 2 1 模型选择 • 优先根据任务类型而非模型热度选择（如数学任务选推理模型，创意任务选通用 模型）。 提示语设计 • 推理模型：简洁指令，聚焦目标，信任其内化能力。（“要什么直接说”）。 • 通用模型：结构化、补偿性引导（“缺什么补什么”）。 避免误区 • 不要对推理模型使用“启发式”提示（如角色扮演），可能干扰其逻辑主线。 复杂问题、需模型自主 推理 “我需要优化用户登录流程， 请分析当前瓶颈并提出3种方 案。” ✅ 激发模型深层推理 ❌ 需清晰定义需求边界 混合模式 结合需求描述与关键 约束条件 平衡灵活性与可控性 “设计一个杭州三日游计划， 要求包含西湖和灵隐寺，且 预算控制在2000元内。” ✅ 兼顾目标与细节 ❌ 需避免过度约束 启发式提问 通过提问引导模型主 动思考（如“为什 么”“如何”）

LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言

实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 济工 作会议和全国新型工业化推进大会部署要求，完整、准确、 全面贯彻新发展理念，统筹高质量发展和高水平安全，加快 赋能新型工业化，以抢抓人工智能产业发展先机为目标，完 善人工智能标准工作顶层设计，强化全产业链标准工作协 同，统筹推进标准的研究、制定、实施和国际化，为推动我 国人工智能产业高质量发展提供坚实的技术支撑。 到 2026 年，标准与产业科技创新的联动水平持续提升， 新制定国家标准和行业标准 （一）人工智能标准体系结构 人工智能标准体系结构包括基础共性、基础支撑、关键 技术、智能产品与服务、赋能新型工业化、行业应用、安全 /治理等 7 个部分，如图 1 所示。其中，基础共性标准是人 工智能的基础性、框架性、总体性标准。基础支撑标准主要 规范数据、算力、算法等技术要求，为人工智能产业发展夯 实技术底座。关键技术标准主要规范人工智能文本、语音、 图像，以及人机混合增强智能、智能体、跨媒体智能、具身

能力图谱 诗歌创作 语音识别 指令理解 方案规划 实体识别 l 文本创作 文章/故事/诗歌写作 营销文案 、广告语生成 社交媒体内容（如推文 、帖子） 剧本或对话设计 l 摘要与改写 长文本摘要（论文 、报告） 文本简化（降低复杂度） 多语言翻译与本地化 l 结构化生成 表格 、列表生成（如日程安排 、 菜谱） 代码注释 、文档撰写 文本生成 文本生成 留在标题页…… 场景1：1小时内写完一个1万字的项目书 是否可用DeepSeek（深度求索）辅助处理？ 可以，但需分阶段“榨干AI效率”，核心策略：框架复制+模块填充+数据嫁接。 分步解决方案： 第一阶段：5分钟——用AI暴力生成框架（目标：3000字） 场景1：1小时内写完一个1万字的项目书 第二阶段：20分钟——用AI批量填充模块（目标：6000字） 针对每个小节单独提问，例如： 减少30%，分拣错误率下降25%。” 你的操作： • 将AI生成内容插入对应章节，优先保证字数达标。 场景1：1小时内写完一个1万字的项目书 第四阶段：10分钟——用AI优化与格式伪装 p统一话术： “将以下段落改写成政府报告风格，加入‘数字化转型’‘双碳战略’等关键词：{粘贴原文}” p生成图表： 指令：“将上文‘设备配置表’转换成LaTeX格式的三线表。”插入图表后，自动增加方案“厚度”。

尤可可（清华博士后、北石化助理教授）：人机共生之AIGC短视频 • 安梦瑶（清华大学博士后）：人机共生之AI诊疗研究 • 陶炜（清华大学博士生）：人机共生之AI实时增强技术的探索与实践 • 胡晓李（清华大学博士后）：人机共生之游戏设计 • 余梦珑（清华大学博士后）：人机共生之媒体智能体应用 • 张家铖（清华大学博士后）：人机共生之AI评测 • 张诗瑶（清华大学博士后）：人机共生之AI社会理论分析 • 朱雪菡（清华大学博士后）：人机共生之影视内容创意与制作 费……通过该报告为相关企业管理 者提供……策略支撑 Objective（操作要 求） 字数要求、段落结构、用词风格、 内容要点、输出格式… CO-STAR提示语框架 新加坡 GPT-4 提示工程竞赛冠军提示词框架 "R"，代表 "Response"， 想要的回应类型。 一份详细的研究 报告？一个表格？ Markdown格式？ "C"代表 “Context（上 下文）” 相关的 背景信息，比如 不需要给示例 • 不需要做太多解释 • …… 另一种路径：DeepSeek R1 作为智能体 ü 角色 ü 功能 ü 技能 ü 约束 ü 工作流程 ü 输出格式 "全维度智能体提示框架" (Comprehensive Agent Prompting Framework, CAP Framework) 核心层: 1.身份定义 (Identity) •角色属性 •专业背景

多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 和移动端。  多任务支持：支持多种任务， 如文本生成、分类和问答。 Kimi k1.5  垂直领域优化：针对特定领域 （如医疗、法律）进行优化， （如医疗、法律）进行优化， 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 。 舆论分析这个概念在最前沿科技或理论中的潜在应用，列出十个充满想象力和震撼性，前所未有的应用。 如果要量化研究审美智能概念，请提出一个合理的，有效的，各指标不重叠的，你自己能提取数据的指数体系框架，不少于三十 个指数。 请大家研究任何问题，先用这四个提示词进行提问。一是跨学科融合，二是深层次原理，三是概念前沿应用，四是如何量化分析。 任何学术概念。 里面会有些冗余信息，可以删除回复中

科学 能力 6 AI Fo r Science 知识管理（ 内部知识管理、 外部情报分析、 大数据分析、 工作流知识） 专家经验模型（ 专业模型训练） 业务流程自动化（ A g e n t框架） 组织协同（ 工作流） 人机交互 赋能个人和 企业员工 生产力提升 多模态 能力 3 图片理解和处理 视频理解和处理 音频理解和处理 非结构化文档处理 47政企、创业者必读 DeepSeek能力很强大 • 高炉炉况诊断 • 高炉燎铁能耗预测 • 高炉在含量智能预监 • 铁包动态调度算法(铁包 跟踪) • 烟气余热回收控制 • 部署工艺模型分析诊断 • 能源诊断分析 • 建设质量工艺动态设计 优化 • 堆堵料异常检测 • 炼铁原料混匀过程调度 优化 • 风机风压参数实时捕捉 和分析检验 • ·计算最佳工艺参数 • 炼钢工序物料属性检测 • ·精炼钢水温度连续测量 • 炼钢设备远程监控及故障 利用纳米AI搜索免费Agnet平台，企业可搭建数字员工等AI工具 阶段1 使用DeepSeek公有云服务 71政企、创业者必读 阶段5 引入专用知识库管理，本地部署，成为知识和情报中枢 阶段6 引入带有强大工作流能力的Agent框架，把复杂的流程自动化 72 企业应用智能体的九层能力 阶段5-6——中级能力政企、创业者必读 强化学习，以DeepSeek模型为基座训练自己的专业推理模型 阶段7 用AI打造自动化的Agent

经过特别训练，可以理解和生成人类语言，从而在多种应用场景中提 供辅助，包括聊天机器人、写作辅助、信息查询等。 2.1.2 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型，它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问（Qwen）是阿里云开发的一系列预训练的大型语言模型，用于聊天、 生成内容、提取信息、总结、翻译、编码、解决数学问题等多种任务。这些模型 2.3.5 度加创作工具 度加创作工具是百度开发的一站式 AI 内容生成平台，支持视频制作、文案生成 和数字人模型等功能。 2.3.6 Spike Studio 智能长剪短：一个专为商业视频制作设计的工具，可以将长视频智能剪辑为短 视频。 2.3.7 HeyGen 动画视频：用于生成动画视频的 AI 工具，支持多种动画风格。 2.3.8 LTX Studio 真人转油画：能将真人视频转换成油画风格的 2.3.9 EBSynth 开源：一个开源的视频处理工具，用于将艺术风格应用到视频帧中。 2.4 AI 编程工具 2.4.1 DEvv 程序员的新一代 AI 搜索引擎，专为编程和技术问题检索设计。 2.4.2 JetBrains AI AI 编程开发助手，集成在 JetBrains 系列开发工具中，提升编码效率。 9 Figure 6: AI 编程工具 2.4.3 AirOps