全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

www.iresearch.com.cn 基础软件开源界限划分 操作系统、数据库、中间件、AI框架底层代码按规范进行共享与协作 本篇报告研究的基础软件开源范围，是指研究“开源”中“基础软件”板块的情况。开源过程中，参与者可以共享、协作完成开发， 正好与基础软件庞大的 撑作用，基础软件的开源价值远超过单一产品的范畴，其意义惠及软件产业全领域。 注释：由于暂无国内厂商主导的开源编程语言，因而不列入本报告研究范围。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 含编译器、基础编程语言、IED等

这个前言里，我们就聊聊感想吧。 出圈 开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首 先是嗅觉灵敏的投资人开始关注开源这个“赛道”，然后是基于中美 对抗的背景，很多人开始从国际政治、国家实力、国家安全的角度， 来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安 全事件，更是令大家议论纷纷。这样一个令人喜忧参半的现象，也 许还会继续持续下去。 生态责任 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是 自由的。但是，在软件吞噬世界、开源吞噬软件的今天，开源技术， 2021 中国开源年度报告 3 已经成为整个世界的基础设施之一。能力越大，责任越大。应用越广， 风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何 建设更加健康的开源生态呢？在这样一种生态中，各方的责任又该 如何界定呢？ 历史感 开源社已经连续第四年发布中国开源年度报告了，也举办了第六届 中国开源年会了。不断的，在与朋友的交流中，我们常常会谈到 年度最受开发者关注的组织 ……………………………………………………………………… 67 2.7 Gitee 指数 ………………………………………………………………………………………… 68 2.8 开源安全与合规 …………………………………………………………………………………… 70 3 总结 ………………………………………………………………………………………… 71 2021 中国开源年度报告商业化篇

开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首先是嗅觉灵敏的投资人开始 关注开源这个“赛道”，然后是基于中美对抗的背景，很多人开始从国际政治、国家实力、国家 安全的角度，来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安全事件，更 是令大家议论纷纷。这样一个令人喜忧参半的现象，也许还会继续持续下去。 Open source is getting hotter and hotter 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是自由的。但是，在软件吞噬 世界、开源吞噬软件的今天，开源技术，已经成为整个世界的基础设施之一。能力越大，责任 越大。应用越广，风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何建设更加 健康的开源生态呢？在这样一种生态中，各方的责任又该如何界定呢？ When the open source was just a niche hobby, it was free competitiveness, and maintainability of the product itself. 段夕华：不知道 21 年底所爆发的 log4j 漏洞，是否会让公司购买开源产品更加保守谨 慎？开源安全任重而道远。 Duan Xihua: I wonder if the log4j vulnerability in late 2021 will make companies more conservative

角色间互相配合，有效协作，达成技术交流或商业目的。开源运营和治理环 节，无论是由企业主导还是由基金会主导，在整个开源项目过程中都处于关键位置，包含软件开发和发行、市场推广、版 本迭代更新、版权管理和安全管理等内容，这些环节和商业企业的软件项目有一些相似之处，但更加注重从社区的使用者 和贡献者处得到观点和启发，并用以驱动项目未来的发展。 开源软件主体和产业链关系 源作者 软件作品 企业开源 开源基金会 企业开源的战略意义（一） 开源是软件市场“后进者”扩大市场影响力的重要手段 从市场竞争战略的视角上看，软件开源通常是软件市场的“后进者”扩大市场影响力、追赶头部企业的重要手段。观察PC 操作系统、移动操作系统、DBMS（核心数据库）三大类典型基础软件产品的开源/闭源情况，整体来看后出现的软件产品 更有可能是开源的，这一情况在DBMS情况尤为显著。通过开源，新的产品能够能更快地打入市场，开放的源代码也更容 核心，开源仅仅是为展现和传播这一优势而构建起的更宽阔的路径。 全球底层软件的开源/闭源情况 闭源 开源 全球PC操作系统开/闭源情况 Symbian 1997 BlackBerry OS 1999 IOS 2007 Android 2008 Windows Phone 2010 全球移动操作系统开/闭源情况 Oracle 1979 DB2 1983 SQL Server 1989

分析⽅向，占⽐分别为10%、9%、9%，⾮技术⼈员以及其他⾏业的从业者占⽐均为 7%，说 明开源已经越来越受到社会各界的关注。 【专家点评】 陈阳：开源早期的时候， 开源 = Linux。 作为当时开源项⽬的主战场，Linux 操作系统、 桌⾯办公软件（GNOME， OpenOffice）和浏览器（Mozilla）掀起了第⼀波开源的浪 潮；近年来随着互联⽹的兴起，开源的项⽬和技术越来越百花⻬放，从数据库到中间 件，从前端到 协作有重要 意义。 关于开展线上还是线下的开源活动/会议，参与者们各抒⼰⻅，线下活动可以⾯对⾯地沟通交 流，交流更有效率，氛围更好，可以有更多⾛出去看看，结交新朋友的机会，⽽线上活动则更 加安全、便捷，不受时间、地域等限制，成本低廉，且会议内容可以录像，⽅便会后复查，当 然，线下录像也是越来越普遍。 2020 年是⼗分特殊的⼀年，COVID-19 这场世界性的疫情给各⾏各业都带来了不同程度的冲 中，开源运动和 分布式、远程协同本来就是天然融合的。 4.6 第⼀次接触的开源产品 有 32% 的参与者第⼀次接触的开源产品为互联⽹产品，紧随其后的便是操作系统相关的产品 与开发⼯具，调查结果与以往基本⼀致，说明互联⽹产品和操作系统相关产品仍然是⼤家了解 和接触开源的最初窗⼝。 4.7 最希望能够开源的产品 相⽐于 2019 年，开发⼯具在今年成为⼤家最希望能够开源的产品类型第⼀名，紧接着的是操

Benaich 等 作 者 联 合 撰 写 的 “ State of AI Report 2023”报告，从研究进展 (Research)、行业局 势 (Industry)、政策影响 (Politics)、安全问题 (Safety)、 未来预测 (Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 是最需要的技能。  许多 AI 采用者仍处于早期阶段：26% 的人使用 AI 不到一年，而 18% 的人已经在生产中进行了应用。  16% 从事 AI 工作的受访者表示正在使用开源模型。  意外结果、安全性、公平性、偏见和隐私是采用者测试 的最大风险。 工业和信息化部赛迪研究院数据显示，目前，我国已有超 过 19 个大语言模型研发厂商。其中，15 家厂商的模型 产品已经通过备案，预计今年我国大语言模型市场规模将 CyanogenMod (CM)，2016 年 CyanogenMod 停止开发，后开始基于 AOSP。 魔趣开源项目 20121212 ~ 20230107 在停更近 3 年后，适用于苹果旗 下多个操作系统 (iOS、macOS、 watchOS 和 tvOS) 的网络框架 AFNetworking 在 2023 年 1 月 17 日正式发布公告宣布弃用，停 止维护。 原始仓库将作为一个归档库永久

低，可以在资源有限的环境下运行良好。 易于部署和维护: 轻松地部署在各种服务器上，不需要复杂的配置和依赖。这使得个人开发者或小团队可以方 便地设置和管理自己的 Git 服务。 安全性: Gitea 注重安全性，提供了用户权限管理、访问控制列表等功能，可以确保代码和数据的安全性。 代码评审：代码评审同时支持 Pull Request workflow 和 AGit workflow。评审⼈可以在线浏览代 码，并提交评审意见或问题。 BitBucket RhodeCode CE 开源免费 ✓ ✓ ✘ ✓ ✘ ✘ ✓ 低资源开销 (RAM/CPU) ✓ ✓ ✘ ✘ ✘ ✘ ✘ 支持多种数据库 ✓ ✓ ✘ ⁄ ⁄ ✓ ✓ 支持多种操作系统 ✓ ✓ ✘ ✘ ✘ ✘ ✓ 升级简便 ✓ ✓ ✘ ✓ ✓ ✘ ✓ 可观测性 ✘ ✘ ✓ ✓ ✓ ✓ ? 支持第三方渲染工具 ✓ ✘ ✘ ✘ ✘ ✓ ? WebAuthn (2FA) ✓ ✘ Gitea 服务器与数据库之间的连接， 而 Gitea 本身使用 Go 提供的数据库驱动程序完成相同的任务。此外，请确保服务器和客户端使用相同的引擎版 本，以使某些引擎功能正常工作。出于安全原因，请使用安全密码保护 root （MySQL）或 postgres （PostgreSQL）数据库超级用户。以下步骤假设您在数据库和 Gitea 服务器上都使用 Linux。 1. 对于远程数据库设置，您需要让

IT 资产 为什么要使⽤堡垒机？ - 以更安全、更⾼效的⽅式管控和登录各种类型的资产 - 系统管理员 普通⽤户 外包⼈员 临时访客 服务器 ⽹络设备 数据库 Kubernetes 事前授权 事中监察 事后审计 管理者期望 堡垒机的 4A 能⼒ 身份鉴别 Authentication 授权控制 Authorization 安全审计 Auditing 账号管理 Accounting Accounting 远程应⽤ 堡垒机 堡垒机需要具备的四个核⼼能⼒ 身份鉴别 账号管理 授权控制 安全审计 - 运维安全审计的 4A 规范 - Authentication Accounting Authorization Auditing 追溯保障、事故分 析的依据 防⽌ 身份冒⽤和复⽤ ⼈员账号和资产账 号的统⼀⾼效管理 防⽌ 内部误操作和权限滥⽤ 等级保护推动堡垒机发展 发布《计算机信息系统安全等级保护 划分细则》 这⼀年被称为等级保护元年。等级保 护 1.0 （《信息安全技术-信息系统安 全等级保护定级指南》GB/T22240、 《信息安全技术-信息系统安全等级保 护基本要求》GB/T22239-2008）相关 标准发布实施。 《中华⼈⺠共和国⽹络安全法》发 布，这是⽹络安全的“基本法”，具有 强制性规范作⽤。 《信息安全技术⽹络安全等级保护 2.0 标准》正式实施，等级保护正式

开放原子开源基金会出品 2023年5月 2023 CONTENTS 目录 01 行业发展 02 前沿技术 03 开源安全 AMD正计划使用开源的OpenSIL代替AGESA 开放服务网格OSM（Open Service Mesh）项目已停止维护 KSOC推出业内首个实时Kubernetes安全态势管理平台 Nutanix推出Kubernetes数据管理平台 Nutanix Data Services for 进Istio的发展。此外，OSM向云原生计算基 金会（CNCF）申请进行项目归档，目前还未 真正执行。 KSOC推出业内首个实时 Kubernetes安全态势管理平台 近日，KSOC推出业内首个实时Kubernetes安 全态势管理平台。Kubernetes安全态势管理平 台可以通过实时上下文以及当前和历史信息准 确定位攻击活动，同时还可以根据集群的当前 状态提供可操作的补救措施。具体功能包括： • 实时态势管理，发现基于事件的错误配置； Silicon Initialization Library”（开源硅初始化库），作 为一套开源解决方案，使用标准行业语言编写， 不但可以实现AGESA的各种传统功能，还有轻量 化、简单、透明、安全、扩展灵活等优势。 全球开源态势洞察｜第十期 02 01 行业发展 Nutanix推出Kubernetes 数据管理平台Nutanix Data Services for Kubernetes