全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

这个前言里，我们就聊聊感想吧。 出圈 开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首 先是嗅觉灵敏的投资人开始关注开源这个“赛道”，然后是基于中美 对抗的背景，很多人开始从国际政治、国家实力、国家安全的角度， 来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安 全事件，更是令大家议论纷纷。这样一个令人喜忧参半的现象，也 许还会继续持续下去。 生态责任 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是 ，都是 自由的。但是，在软件吞噬世界、开源吞噬软件的今天，开源技术， 2021 中国开源年度报告 3 已经成为整个世界的基础设施之一。能力越大，责任越大。应用越广， 风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何 建设更加健康的开源生态呢？在这样一种生态中，各方的责任又该 如何界定呢？ 历史感 开源社已经连续第四年发布中国开源年度报告了，也举办了第六届 中国开源年会 年度最受开发者关注的组织 ……………………………………………………………………… 67 2.7 Gitee 指数 ………………………………………………………………………………………… 68 2.8 开源安全与合规 …………………………………………………………………………………… 70 3 总结 ………………………………………………………………………………………… 71 2021 中国开源年度报告商业化篇

Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 1：中国开源开发者生态数据 04 | 助自然语言解释，使得开发者更直观地理解代码结构和执行流程，增强智能编程的可视性和 交互性。  有些开发团队借助智能体和 RAG 技术检索历史上已知的代码缺陷模式和已知问题，从而比较 准确地识别潜在的缺陷和安全漏洞，甚至能够分析代码的功能意图，全面提升代码评审的能 力。  有些团队，根据 UI 设计图，让 LLM 自动生成相应的前端代码，大大减少了手动编码的时间， 加快了从设计到实现的流程。 43 发显著。开源数据集和算法不仅推动了 AI 研究的进步，也在应用层面带来了深远的影响。然而，伴随这些机遇的还有诸多风险与挑战，如 数据质量、版权问题和算法透明性等。本文将浅析大模型训练过程中开源数据集和算法的重要性 和影响，分析其在促进 AI 研究和应用中的机遇，并警示相关的风险与挑战。 任何方案都具有两面性和在特殊环境下的讨论的意义和前提，因此，本文不讨论开源或对立 面（闭源）的绝对取舍问题，仅对开源的有利之处加以浅析。

开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首先是嗅觉灵敏的投资人开始 关注开源这个“赛道”，然后是基于中美对抗的背景，很多人开始从国际政治、国家实力、国家 安全的角度，来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安全事件，更 是令大家议论纷纷。这样一个令人喜忧参半的现象，也许还会继续持续下去。 Open source is getting hotter and hotter 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是自由的。但是，在软件吞噬 世界、开源吞噬软件的今天，开源技术，已经成为整个世界的基础设施之一。能力越大，责任 越大。应用越广，风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何建设更加 健康的开源生态呢？在这样一种生态中，各方的责任又该如何界定呢？ When the open source was just a niche hobby competitiveness, and maintainability of the product itself. 段夕华：不知道 21 年底所爆发的 log4j 漏洞，是否会让公司购买开源产品更加保守谨 慎？开源安全任重而道远。 Duan Xihua: I wonder if the log4j vulnerability in late 2021 will make companies more conservative

角色间互相配合，有效协作，达成技术交流或商业目的。开源运营和治理环 节，无论是由企业主导还是由基金会主导，在整个开源项目过程中都处于关键位置，包含软件开发和发行、市场推广、版 本迭代更新、版权管理和安全管理等内容，这些环节和商业企业的软件项目有一些相似之处，但更加注重从社区的使用者 和贡献者处得到观点和启发，并用以驱动项目未来的发展。 开源软件主体和产业链关系 源作者 软件作品 企业开源 开源基金会 www.iresearch.com.cn 来源：中国信通院，新思科技《2020年开源安全与风险分析报告》 ，艾瑞咨询研究院根据公开资料研究及绘制。 企业开源的战略意义（二） 开源在企业中的使用率提升，带来多维度战略价值 除前文所述的商业价值和成本优化之外，开源软件产业对企业的战略意义 iresearch.com.cn 云计算、容 器和虚拟化 22.7% 网络和边缘计算 15.0% web和应用程序开发 13.6% 人工智能、机器学习、数 据和分析 10.8% 隐私与安全 5.1% cross-technology 4.8% 物联网与嵌入式 4.6% 区块链 4.3% DevOps, CI/CD & Site Reliability 3.8% 开源最佳实践

代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 各行业客户的验证。目前已服务各领域头部客户百余家，包括工商银行、 浙商银行、银监会、人保金服、深圳证券交易所、华泰证券、名创优品、 古茗、百胜集团、温氏集团、万向集团、大华股份、宁波钢铁、一汽解放、 信通院云计算标准和开源推进委员会成员 信通院首批开源供应商 浙江省云计算和大数据省级企业研究院 CNCF 官方认可的 Kubernetes 服务提供商 CNCF KCSP认证 管理体系相关资质 ISO 27001 信息安全管理体系认证 ISO 2000 信息技术服务管理体系认证 ISO 9001 质量管理体系认证 CSA STAR Certification 2013 服务管理认证 CMMI (三级) 认证 大数据技术认证资质 企业级应用快速开发平台，助力企业提升开发效率降低开发成本。 轻舟低代码 14 生命周期管理 丰富的中间件及统一的管控平台，支持 全生命周期的运维操作。 高可用 支持节点、可用区级故障，灵活调度策 略，有效保障数据安全性与可用性。 故障恢复 支持 Node 级和实例级故障自动恢复， 无需人工值守。 异构网络访问 支 持 异 构 协 议 转 换 为 HTTP 协 议 RESTFUL 接口，具备请求转换能力，有

Benaich 等 作 者 联 合 撰 写 的 “ State of AI Report 2023”报告，从研究进展 (Research)、行业局 势 (Industry)、政策影响 (Politics)、安全问题 (Safety)、 未来预测 (Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 的巨大需求，跻身市值万亿美元俱乐部；  主要芯片供应商开发了不受出口管制影响的替代产品；  在 ChatGPT 的带领下，生成式 AI 的应用在图像、 视频、编码、语音等领域取得了突破性的进展，带动了 180 亿美元的风险投资和企业投资。 O'Reilly 发 布 的 “ 2023 Generative AI in the Enterprise”报告显示：  54% 的 AI 用户预计 AI 的最大好处是提高生产力。 采用者仍处于早期阶段：26% 的人使用 AI 不到一年，而 18% 的人已经在生产中进行了应用。  16% 从事 AI 工作的受访者表示正在使用开源模型。  意外结果、安全性、公平性、偏见和隐私是采用者测试 的最大风险。 工业和信息化部赛迪研究院数据显示，目前，我国已有超 过 19 个大语言模型研发厂商。其中，15 家厂商的模型 产品已经通过备案，预计今年我国大语言模型市场规模将 达到

料，由艾瑞咨询研究院自主研究及绘制。 使用开源许可证需注意的风险点 审判机关 开发者 开源许可证 “两者的契约” 开源者 将许可证视为“合同”，基于《著作权法》、 《专利法》等法律法规对相关纠纷进行判决 围绕许可证可能出现的其他风险 专利风险 数据风险 出口风险 其他风险 开发者商用开源代码时容易出现的违规风险：不同开源许可证对 于二次发行有不同程度的开源要求，要求越严格，开发者越难保护商 ，开发者越难保护商 业版本发行的机密性，不知情企业闭源发行时越容易有侵权风险 类别一 允许二次闭源发行， 需要保留原始版权 和许可声明 常见许可证： • MIT • Apache2.0 • BDS2.0-clause • 木兰宽松许可证 类别二 一定条件下允许二 次闭源发行 常见许可证： • LGLP2.1，商业 软件通过代码类 库引用（软件代 码与引用的源代 码 呈 “ 松 耦 合 开源项目运营：支持开发者社区运营，促进项目生态建设。拓展 开源生态链，汇聚企业、个人、组织参与开源项目。 开源品牌推广：打造年度重大品牌活动，完善传播矩阵，培养开 源人才，链接各方资源促进开源繁荣 理事会 安全委员会 技术监督委员会 依据项目属性，选取若干家行业优秀企 业共同组成，对项目未来发展献计献策 白金捐赠人 黄金捐赠人 白银捐赠人 开源贡献人 17家 13家 20家 6家 截至2023年8

），可能干扰其逻辑主线。 • 不要对通用模型“过度信任”（如直接询问复杂推理问题，需分步验证结果）。 从“下达指令”到“表达需求” 策略类型 定义与目标 适用场景 示例（推理模型适用） 优势与风险 指令驱动 直接给出明确步骤或 格式要求 简单任务、需快速执行 “用Python编写快速排序函 数，输出需包含注释。” ✅ 结果精准高效 ❌ 限制模型自主优化空 间 需求导向 描述问题背景与目标， “先解释电车难题的定义，再对比 两种伦理观的差异” 一次性提问复杂逻辑 如何向AI表达需求 需求类型 特点 需求表达公式 推理模型适配策略 通用模型适配策略 1. 决策需求 需权衡选项、评估风险、 选择最优解 目标 + 选项 + 评估标准 要求逻辑推演和量化分析 直接建议，依赖模型经验归纳 2. 分析需求 需深度理解数据/信息、 发现模式或因果关系 问题 + 数据/信息 + 分析 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 5. 执行需求 需完成具体操作（代码/ 计算/流程） 任务 + 步骤约束 + 输出格 式 自主优化步骤，兼顾效率 与正确性

），可能干扰其逻辑主线。 • 不要对通用模型“过度信任”（如直接询问复杂推理问题，需分步验证结果）。 从“下达指令”到“表达需求” 策略类型 定义与目标 适用场景 示例（推理模型适用） 优势与风险 指令驱动 直接给出明确步骤或 格式要求 简单任务、需快速执行 “用Python编写快速排序函 数，输出需包含注释。” ✅ 结果精准高效 ❌ 限制模型自主优化空 间 需求导向 描述问题背景与目标， “先解释电车难题的定义，再对比 两种伦理观的差异” 一次性提问复杂逻辑 如何向AI表达需求 需求类型 特点 需求表达公式 推理模型适配策略 通用模型适配策略 1. 决策需求 需权衡选项、评估风险、 选择最优解 目标 + 选项 + 评估标准 要求逻辑推演和量化分析 直接建议，依赖模型经验归纳 2. 分析需求 需深度理解数据/信息、 发现模式或因果关系 问题 + 数据/信息 + 分析 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 5. 执行需求 需完成具体操作（代码/ 计算/流程） 任务 + 步骤约束 + 输出格 式 自主优化步骤，兼顾效率 与正确性