全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 技术应对措施 ……………………………………………… 7 4.1 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合、合作、可持续的安全观，坚持发展和安全并重，以促

七“特” AIGC评测：2个国家级项目+1套自动化测评系统 AIGC评测 指标体系 共计26个细分指标 两项国家级项目： • 2023国家自然科学基金青年项目“面向人工智能生成内 容的风险识别与治理策略研究” • 2023国家资助博士后研究人员计划B档“AIGC意识形态 安全评估” 创新的火花：如何设计出独具匠心的提示语？ 抽象—具体循环法：在不同抽象层次间灵活切换 运用类比与隐喻：增强创意表达 应对威胁。 c.解释签名式防御如何类似于抗体，能够快速识别和中和已知威胁。 d.比较系统隔离和清理过程与人体发烧的相似性，都是为了控制“感染”扩散。 e.讨论威胁情报数据库如何类似于免疫记忆，使系统能够更快地应对重复出现的威胁。 （3）深入探讨启示： a.分析免疫系统的适应性如何启发自适应安全系统的设计。 b.探讨免疫系统的分层防御策略如何应用于网络安全的纵深防御概念。

七“特” AIGC评测：2个国家级项目+1套自动化测评系统 AIGC评测 指标体系 共计26个细分指标 两项国家级项目： • 2023国家自然科学基金青年项目“面向人工智能生成内 容的风险识别与治理策略研究” • 2023国家资助博士后研究人员计划B档“AIGC意识形态 安全评估” 创新的火花：如何设计出独具匠心的提示语？ 抽象—具体循环法：在不同抽象层次间灵活切换 运用类比与隐喻：增强创意表达 应对威胁。 c.解释签名式防御如何类似于抗体，能够快速识别和中和已知威胁。 d.比较系统隔离和清理过程与人体发烧的相似性，都是为了控制“感染”扩散。 e.讨论威胁情报数据库如何类似于免疫记忆，使系统能够更快地应对重复出现的威胁。 （3）深入探讨启示： a.分析免疫系统的适应性如何启发自适应安全系统的设计。 b.探讨免疫系统的分层防御策略如何应用于网络安全的纵深防御概念。

1 国家人工智能产业综合标准化体系建设指南 （2024版） 为深入贯彻落实党中央、国务院关于加快发展人工智能 的部署要求，贯彻落实《国家标准化发展纲要》《全球人工 智能治理倡议》，进一步加强人工智能标准化工作系统谋划， 加快构建满足人工智能产业高质量发展和“人工智能+”高水 平赋能需求的标准体系，夯实标准对推动技术进步、促进企 业发展、引领产业升级、保障产业安全的支撑作用，更好推 产业链上下 游企业共同制定国际标准。 三、建设思路 （一）人工智能标准体系结构 人工智能标准体系结构包括基础共性、基础支撑、关键 技术、智能产品与服务、赋能新型工业化、行业应用、安全 /治理等 7 个部分，如图 1 所示。其中，基础共性标准是人 工智能的基础性、框架性、总体性标准。基础支撑标准主要 规范数据、算力、算法等技术要求，为人工智能产业发展夯 实技术底座。关键技术标准主要规范人工智能文本、语音、 工智能赋能行业应用，推动产业智能化发展提供技术保障。 安全/治理标准主要规范人工智能安全、治理等要求，为人 4 工智能产业发展提供安全保障。 图 1 人工智能标准体系结构图 （二）人工智能标准体系框架 人工智能标准体系框架主要由基础共性、基础支撑、关 键技术、智能产品与服务、赋能新型工业化、行业应用、安 全/治理等 7 个部分组成，如图 2 所示。 5 图 2 人工智能标准体系框架图

如何使用DeepSeek开发AI应用？ 如何使用DeepSeek开发AI应用？ 如何使用DeepSeek开发AI应用？ 如何使用DeepSeek进行市场调查？ 如何使用DeepSeek进行市场调查？ 经济发展 创新活力 社会治理 基础设施 宜居环境 如何使用DeepSeek进行市场调查？ 60.00% 70.00% 80.00% 90.00% 杭州 成都 无锡 青岛 宁波 广州 合肥 嘉兴 绍兴 南京 武汉 大连

生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。通过数据向量化，实现了 在向量数据库中进行高效的相似性计算和查询。 根据向量数据库的的实现方式,可以将向量数据库大致分为两类： 原生的向量数据库专门为存储和检索向量而设计， 所管理的数据是基于对象或数据点的向量表示进行 组织和索引。 包括 等均属于原生向量数据库。 除了选择专业的向量数据库，对传统数据库添加

能做什么？ 要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析，常用于问题 用户在不同科研需求下得到充分支持。  增强版绘图功能：增强版具备绘图功能，可通过可视化 图示（如文献关键词共现图）直观展示综述内容，帮助 用户更好理解和呈现研究成果。  无数据检索：以现有真实数据库作为支撑，通过关键词 检索，自动搜集相关文献并生成综述报告，目前只支持 英文检索。  低重复率：结合现有查重机制与AI技术，在内容生成阶 段引入重复检测与优化策略，从源头上降低重复率风险， 所生成的综述普通重复率与AIGC重复率均在5%以下。  无限双语数据导入：支持中文与英文文献的导入，并且 文献数据量没有限制，能够轻松处理中文文献的系统性 梳理，以及国际文献的跨语言分析。  幻觉克服：以现有真实数据库作为支撑，借助由专家设 计撰写的提示词，精准规避AI生成中的幻觉问题。  高规范格式输出：所生成的综述文档格式规范、结构清 晰，符合学术论文标准，用户几乎无需进行二次整理。 中科院PubScholar平台

AI 编程开发助手，集成在 JetBrains 系列开发工具中，提升编码效率。 9 Figure 6: AI 编程工具 2.4.3 AirOps 用于生成和修改 SQL 语句的工具，旨在简化数据库操作。 2.4.4 ChatDev 面壁智能开发的 AI 智能体开发平台，支持创建和部署智能对话系统。 2.4.5 solo Mozilla 开源项目，提供零代码网站开发功能，易于使用。 2

智能体应用案例：定义角色、分解流程 社区医生手工填写患者病历 并传真到斯坦福预约中心 传统人工预约流程 AI辅助预约流程 传真识别智能体 接到传真，人工查看病历 利用多模态大模型，识别传真病历， 并自动录入数据库 数字人打电话给患者，预约就诊时间 大模型查询保险知识库，自动生成理赔申请， 提交保险公司 就诊预约智能体 保险报告生成智能体 人工打电话给患者，预约就诊时间 病人到医院就诊 人工填写理赔申请，提交保险公司