全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首先是嗅觉灵敏的投资人开始 关注开源这个“赛道”，然后是基于中美对抗的背景，很多人开始从国际政治、国家实力、国家 安全的角度，来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安全事件，更 是令大家议论纷纷。这样一个令人喜忧参半的现象，也许还会继续持续下去。 Open source is getting hotter and hotter 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是自由的。但是，在软件吞噬 世界、开源吞噬软件的今天，开源技术，已经成为整个世界的基础设施之一。能力越大，责任 越大。应用越广，风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何建设更加 健康的开源生态呢？在这样一种生态中，各方的责任又该如何界定呢？ When the open source was just a niche hobby, it was free competitiveness, and maintainability of the product itself. 段夕华：不知道 21 年底所爆发的 log4j 漏洞，是否会让公司购买开源产品更加保守谨 慎？开源安全任重而道远。 Duan Xihua: I wonder if the log4j vulnerability in late 2021 will make companies more conservative

这个前言里，我们就聊聊感想吧。 出圈 开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首 先是嗅觉灵敏的投资人开始关注开源这个“赛道”，然后是基于中美 对抗的背景，很多人开始从国际政治、国家实力、国家安全的角度， 来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安 全事件，更是令大家议论纷纷。这样一个令人喜忧参半的现象，也 许还会继续持续下去。 生态责任 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是 自由的。但是，在软件吞噬世界、开源吞噬软件的今天，开源技术， 2021 中国开源年度报告 3 已经成为整个世界的基础设施之一。能力越大，责任越大。应用越广， 风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何 建设更加健康的开源生态呢？在这样一种生态中，各方的责任又该 如何界定呢？ 历史感 开源社已经连续第四年发布中国开源年度报告了，也举办了第六届 中国开源年会了。不断的，在与朋友的交流中，我们常常会谈到 年度最受开发者关注的组织 ……………………………………………………………………… 67 2.7 Gitee 指数 ………………………………………………………………………………………… 68 2.8 开源安全与合规 …………………………………………………………………………………… 70 3 总结 ………………………………………………………………………………………… 71 2021 中国开源年度报告商业化篇

协作有重要 意义。 关于开展线上还是线下的开源活动/会议，参与者们各抒⼰⻅，线下活动可以⾯对⾯地沟通交 流，交流更有效率，氛围更好，可以有更多⾛出去看看，结交新朋友的机会，⽽线上活动则更 加安全、便捷，不受时间、地域等限制，成本低廉，且会议内容可以录像，⽅便会后复查，当 然，线下录像也是越来越普遍。 2020 年是⼗分特殊的⼀年，COVID-19 这场世界性的疫情给各⾏各业都带来了不同程度的冲 部分⼈的⽐例提升。 5.8 开源软件安全 有近七成的参与者表示不会有不安全感，但同时也仍有 25% 的参与者表示会有此类担忧，开 源软件的安全问题仍然值得我们关注。 【专家点评】 红薯：开源软件由于其机制的关系，通过开源社区不断地发现问题并维护，其安全问题可能并 不是开发者们的主要关注点。其实除了技术⽅⾯的安全问题，开源合规性等许可证⽅⾯的安全 问题同样需要开发者们重视，许可证冲突 问题同样需要开发者们重视，许可证冲突问题所带来的法律⻛险影响⾮常⼤且很难被发现，尤 其是对于企业来说，检查所使⽤的开源软件合规性，其重要性不亚于其技术安全。 5.9 中国成⽴开源基⾦会的作⽤ 参与者们⼀致认为中国成⽴开源基⾦会是⾮常有意义的，可以推⼴开源的理念，开源⽂化教 育，社区建设，建⽴开源⽣态体系，利于开源项⽬早起的孵化和扶持，帮助中国开源社区进⾏ 资源的整合和优化，也有助于接轨国际开源社区。 【专家点评】 蒋涛

Benaich 等 作 者 联 合 撰 写 的 “ State of AI Report 2023”报告，从研究进展 (Research)、行业局 势 (Industry)、政策影响 (Politics)、安全问题 (Safety)、 未来预测 (Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 是最需要的技能。  许多 AI 采用者仍处于早期阶段：26% 的人使用 AI 不到一年，而 18% 的人已经在生产中进行了应用。  16% 从事 AI 工作的受访者表示正在使用开源模型。  意外结果、安全性、公平性、偏见和隐私是采用者测试 的最大风险。 工业和信息化部赛迪研究院数据显示，目前，我国已有超 过 19 个大语言模型研发厂商。其中，15 家厂商的模型 产品已经通过备案，预计今年我国大语言模型市场规模将 叶金荣，GreatSQL 开源生态负责人 对于 MySQL 5.7 的 EOL，我想需要分几种情况区别对待。 1.已经在线稳定运行的系统，认为升级版本存在一定风险。在做好必要的安全防 范措施后，一般是无需担心 EOL 带来的安全风险，最大的问题无非是用不上新功 能。相当多互联网企业都是这么做的。从 MySQL 5.6 占比仍高达 30%也可见一 斑。 2.想要用上新特性，借机升级版本。MySQL

Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 1：中国开源开发者生态数据 04 | 56% 17.86% 16.91% 15.63% 15.41% TypeScript Rust YAML Visual Basic Verilog C C++ Python Kotlin C# Dart Arduino TypeScript连续两年成为了 Gitee年度增长最快编程语言 （2023年增长率为49.04%）， 同样持续强势的还有Rust以及 C语言家族。 助自然语言解释，使得开发者更直观地理解代码结构和执行流程，增强智能编程的可视性和 交互性。  有些开发团队借助智能体和 RAG 技术检索历史上已知的代码缺陷模式和已知问题，从而比较 准确地识别潜在的缺陷和安全漏洞，甚至能够分析代码的功能意图，全面提升代码评审的能 力。  有些团队，根据 UI 设计图，让 LLM 自动生成相应的前端代码，大大减少了手动编码的时间， 加快了从设计到实现的流程。 43

IT 资产 为什么要使⽤堡垒机？ - 以更安全、更⾼效的⽅式管控和登录各种类型的资产 - 系统管理员 普通⽤户 外包⼈员 临时访客 服务器 ⽹络设备 数据库 Kubernetes 事前授权 事中监察 事后审计 管理者期望 堡垒机的 4A 能⼒ 身份鉴别 Authentication 授权控制 Authorization 安全审计 Auditing 账号管理 Accounting Accounting 远程应⽤ 堡垒机 堡垒机需要具备的四个核⼼能⼒ 身份鉴别 账号管理 授权控制 安全审计 - 运维安全审计的 4A 规范 - Authentication Accounting Authorization Auditing 追溯保障、事故分 析的依据 防⽌ 身份冒⽤和复⽤ ⼈员账号和资产账 号的统⼀⾼效管理 防⽌ 内部误操作和权限滥⽤ 等级保护推动堡垒机发展 发布《计算机信息系统安全等级保护 划分细则》 这⼀年被称为等级保护元年。等级保 护 1.0 （《信息安全技术-信息系统安 全等级保护定级指南》GB/T22240、 《信息安全技术-信息系统安全等级保 护基本要求》GB/T22239-2008）相关 标准发布实施。 《中华⼈⺠共和国⽹络安全法》发 布，这是⽹络安全的“基本法”，具有 强制性规范作⽤。 《信息安全技术⽹络安全等级保护 2.0 标准》正式实施，等级保护正式

面对全球大模型产业之争，要打赢「三大战役」 AGI之战 应用场景之战 大模型安全之战 • 探索超越人类的超级人工 智能AGI • 不仅是科技之争，更是国 运之争 • 不发展是最大的不安全， 发挥举国体制优势，打赢 追赶之战 • 大模型带来前所未有安全 挑战 • 外挂式传统安全手段难以 应对 • 应对模型安全新挑战，打 赢未雨绸缪之战 • 大模型是能力而非产品， 结合场景才能发挥价值 创业公司得到DeepSeek加持，创业者拥有便宜领先的大模型，迎来 机遇，带来“iPhone时刻” 中国变成AI渗透率最高的国家，率先实现AI工业革命 37政企、创业者必读 人人智能 万物智能 数转智改 未来产业 科学研究 安全 应用爆发的六大方向 38政企、创业者必读 DeepSeek的开源和低成本使得个人也能够拥有自有大模型，实现超能力， 成长为超级个体 DeepSeek六大应用方向之一 人人智能：人人都要用AI 从数年缩短到几分钟，解开了生物学密码 成功预测了地球存在的2亿种蛋白质结构 45政企、创业者必读  DeepSeek典型的四大安全问题：客户端安全、Agent安全、知识安全、模型安全  360提出「以模制模」新解法，应对DeepSeek安全问题 DeepSeek六大应用方向之六 AI安全：实现安全的「自动驾驶」 46政企、创业者必读 大模型的六大能力 47 基本 能力 业务 能力 创新 能力

开放原子开源基金会出品 2023年5月 2023 CONTENTS 目录 01 行业发展 02 前沿技术 03 开源安全 AMD正计划使用开源的OpenSIL代替AGESA 开放服务网格OSM（Open Service Mesh）项目已停止维护 KSOC推出业内首个实时Kubernetes安全态势管理平台 Nutanix推出Kubernetes数据管理平台 Nutanix Data Services for 进Istio的发展。此外，OSM向云原生计算基 金会（CNCF）申请进行项目归档，目前还未 真正执行。 KSOC推出业内首个实时 Kubernetes安全态势管理平台 近日，KSOC推出业内首个实时Kubernetes安 全态势管理平台。Kubernetes安全态势管理平 台可以通过实时上下文以及当前和历史信息准 确定位攻击活动，同时还可以根据集群的当前 状态提供可操作的补救措施。具体功能包括： • 实时态势管理，发现基于事件的错误配置； Silicon Initialization Library”（开源硅初始化库），作 为一套开源解决方案，使用标准行业语言编写， 不但可以实现AGESA的各种传统功能，还有轻量 化、简单、透明、安全、扩展灵活等优势。 全球开源态势洞察｜第十期 02 01 行业发展 Nutanix推出Kubernetes 数据管理平台Nutanix Data Services for Kubernetes

开源项目运营：支持开发者社区运营，促进项目生态建设。拓展 开源生态链，汇聚企业、个人、组织参与开源项目。 开源品牌推广：打造年度重大品牌活动，完善传播矩阵，培养开 源人才，链接各方资源促进开源繁荣 理事会 安全委员会 技术监督委员会 依据项目属性，选取若干家行业优秀企 业共同组成，对项目未来发展献计献策 白金捐赠人 黄金捐赠人 白银捐赠人 开源贡献人 17家 13家 20家 6家 截至2023年8 开源项目 40+个储备开 源项目 工业开源体系 区块链 云原生与超算 RISC-V芯片 终端操作系统 设计自动化 人工智能 开发环境及语言 中间件、数据库 工具软件 服务器操作系统 安全体系 16 中国开源基础软件 产业细分领域洞察 03 17 ©2023.11 iResearch Inc. 及绘制。 操 作 系 统 开 源 社 区 常 见 小 组 分 布 操 作 系 统 适 配 生 态 概 览 技术类 语言 基础功能 中间件 图形/桌面 架构/内核 云原生基础设施 安全 测试 行业解决方案 治理类 职能组织 社区基础设施 版本发行 社区生态管理 服务器 云计算 边缘计算 智能终端 桌面 … 操作系统应用场景 处理器 … 服务器 端设备