全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

www.iresearch.com.cn 基础软件开源界限划分 操作系统、数据库、中间件、AI框架底层代码按规范进行共享与协作 本篇报告研究的基础软件开源范围，是指研究“开源”中“基础软件”板块的情况。开源过程中，参与者可以共享、协作完成开发， 正好与基础软件庞大的开发量需求 其意义惠及软件产业全领域。 注释：由于暂无国内厂商主导的开源编程语言，因而不列入本报告研究范围。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 含编译器、基础编程语言、IED等 社区协作：鼓励各方在开放平台上协作 贡献，推动开源内容的发展 创新改进：通过资源共享与协作共生，

大模型、上海人工智能实验室的书生通用大模型、腾 讯的混元大模型、蚂蚁的百灵大模型等。 另一方面，除了大模型本身，中国在 LLM 相关技术领域也 快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 Benaich 等 作 者 联 合 撰 写 的 “ State of AI Report 2023”报告，从研究进展 (Research)、行业局 势 (Industry)、政策影响 (Politics)、安全问题 (Safety)、 未来预测 (Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 是最需要的技能。  许多 AI 采用者仍处于早期阶段：26% 的人使用 AI 不到一年，而 18% 的人已经在生产中进行了应用。  16% 从事 AI 工作的受访者表示正在使用开源模型。  意外结果、安全性、公平性、偏见和隐私是采用者测试 的最大风险。 工业和信息化部赛迪研究院数据显示，目前，我国已有超 过 19 个大语言模型研发厂商。其中，15 家厂商的模型 产品已经通过备案，预计今年我国大语言模型市场规模将

IT 资产 为什么要使⽤堡垒机？ - 以更安全、更⾼效的⽅式管控和登录各种类型的资产 - 系统管理员 普通⽤户 外包⼈员 临时访客 服务器 ⽹络设备 数据库 Kubernetes 事前授权 事中监察 事后审计 管理者期望 堡垒机的 4A 能⼒ 身份鉴别 Authentication 授权控制 Authorization 安全审计 Auditing 账号管理 Accounting Accounting 远程应⽤ 堡垒机 堡垒机需要具备的四个核⼼能⼒ 身份鉴别 账号管理 授权控制 安全审计 - 运维安全审计的 4A 规范 - Authentication Accounting Authorization Auditing 追溯保障、事故分 析的依据 防⽌ 身份冒⽤和复⽤ ⼈员账号和资产账 号的统⼀⾼效管理 防⽌ 内部误操作和权限滥⽤ 等级保护推动堡垒机发展 发布《计算机信息系统安全等级保护 划分细则》 这⼀年被称为等级保护元年。等级保 护 1.0 （《信息安全技术-信息系统安 全等级保护定级指南》GB/T22240、 《信息安全技术-信息系统安全等级保 护基本要求》GB/T22239-2008）相关 标准发布实施。 《中华⼈⺠共和国⽹络安全法》发 布，这是⽹络安全的“基本法”，具有 强制性规范作⽤。 《信息安全技术⽹络安全等级保护 2.0 标准》正式实施，等级保护正式

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448 3.12 安全和隐私 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 3 项目信息，如翻译人员的说明，或项目使用的版本控制系统仓库中字符串的目录或链接。 如果你想要直接链接，翻译格式必须支持它。 翻译历史记录 默认情况下，每个更改（除非在部件设置中关闭）都保存在数据库中，并且可以还原。（可选）仍然可以 还原基础版本控制系统中的任何内容。 已翻译的字符串长度 Weblate 可以通过多种方式限制翻译的长度，以确保翻译后的字符串不会太长： • 翻译的默认限制是 也存在零宽空格。 控制字符删除 从翻译中删除任何控制字符。 梵文 danda 用梵文 danda (�) 替换梵文中错误的句号。 不安全的 HTML 清理 使用“safe-html“标记开启时会清理 HTML markup。 参见: 不安全的 HTML 修复首尾空白 使首尾空白和源字符串保持一致。可使用 ignore-begin-space 和 ignore-end-space

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448 3.12 安全和隐私 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 3 项目信息，如翻译人员的说明，或项目使用的版本控制系统仓库中字符串的目录或链接。 如果你想要直接链接，翻译格式必须支持它。 翻译历史记录 默认情况下，每个更改（除非在部件设置中关闭）都保存在数据库中，并且可以还原。（可选）仍然可以 还原基础版本控制系统中的任何内容。 已翻译的字符串长度 Weblate 可以通过多种方式限制翻译的长度，以确保翻译后的字符串不会太长： • 翻译的默认限制是 也存在零宽空格。 控制字符删除 从翻译中删除任何控制字符。 梵文 danda 用梵文 danda (�) 替换梵文中错误的句号。 不安全的 HTML 清理 使用“safe-html“标记开启时会清理 HTML markup。 参见: 不安全的 HTML 修复首尾空白 使首尾空白和源字符串保持一致。可使用 ignore-begin-space 和 ignore-end-space

Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.15 Weblate 4.14.2 Weblate 4.14.1 Weblate 4.14 Weblate 项目信息，如翻译人员的说明，或项目使用的版本控制系统仓库中字符串 的目录或链接。 如果你想要直接链接，翻译格式必须支持它。 翻译历史记录 默认情况下，每个更改（除非在部件设置中关闭）都保存在数据库中，并且可 以还原。（可选）仍然可以还原基础版本控制系统中的任何内容。 已翻译的字符串长度 Weblate 可以通过多种方式限制翻译的长度，以确保翻译后的字符串不会太 长： 翻译的默认限制是源字符串的十倍。这可以通过 范围: 检查的类: 检查的标识符: 启用的标记: 忽略的标记: 不安全的 HTML 在 3.9 版本加入. 该译文使用了不安全的 HTML 标记 已翻译字符串 weblate.checks.markup.SafeHTMLCheck safe-html safe-html ignore-safe-html 译文使用了不安全的 HTML 标记。必须使用 safe-html 标志启用此检查 （请参阅

目 录 致谢 Gitea是什么? 安装 对比 Gitea 与其它 Git 托管工具 数据库准备 使用二进制文件安装 使用包管理器安装 使用源代码安装 在 Linux 中以 service 方式运行 注册为Windows服务 使用 Docker 安装 (rootless) 使用 Docker 安装 在 Kubernetes 中安装 Gitea 在云服务器中安装 Gitea 低，可以在资源有限的环境下运行良好。 易于部署和维护: 轻松地部署在各种服务器上，不需要复杂的配置和依赖。这使得个人开发者或小团队可以方 便地设置和管理自己的 Git 服务。 安全性: Gitea 注重安全性，提供了用户权限管理、访问控制列表等功能，可以确保代码和数据的安全性。 代码评审：代码评审同时支持 Pull Request workflow 和 AGit workflow。评审⼈可以在线浏览代 码，并提交评审意见或问题。 UI 框架： jQuery Fomantic UI Vue3 更多组件参见 package.json 编辑器： CodeMirror EasyMDE Monaco Editor 数据库驱动： github.com/go-sql-driver/mysql github.com/lib/pq github.com/mattn/go-sqlite3 github.com/denisenkom/go-mssqldb

Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.15.1 Weblate 4.15 Weblate 4.14.2 Weblate 4.14.1 项目信息，如翻译人员的说明，或项目使用的版本控制系统仓库中字符串 的目录或链接。 如果你想要直接链接，翻译格式必须支持它。 翻译历史记录 默认情况下，每个更改（除非在部件设置中关闭）都保存在数据库中，并且可 以还原。（可选）仍然可以还原基础版本控制系统中的任何内容。 已翻译的字符串长度 Weblate 可以通过多种方式限制翻译的长度，以确保翻译后的字符串不会太 长： 翻译的默认限制是源字符串的十倍。这可以通过 范围: 检查的类: 检查的标识符: 启用的标记: 忽略的标记: 不安全的 HTML 在 3.9 版本加入. 该译文使用了不安全的 HTML 标记 已翻译字符串 weblate.checks.markup.SafeHTMLCheck safe-html safe-html ignore-safe-html 译文使用了不安全的 HTML 标记。必须使用 safe-html 标志启用此检查 （请参阅

Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.15.2 Weblate 4.15.1 Weblate 4.15 Weblate 4.14.2 项目信息，如翻译人员的说明，或项目使用的版本控制系统仓库中字符串 的目录或链接。 如果你想要直接链接，翻译格式必须支持它。 翻译历史记录 默认情况下，每个更改（除非在部件设置中关闭）都保存在数据库中，并且可 以还原。（可选）仍然可以还原基础版本控制系统中的任何内容。 已翻译的字符串长度 Weblate 可以通过多种方式限制翻译的长度，以确保翻译后的字符串不会太 长： 翻译的默认限制是源字符串的十倍。这可以通过 范围: 检查的类: 检查的标识符: 启用的标记: 忽略的标记: 不安全的 HTML 在 3.9 版本加入. 该译文使用了不安全的 HTML 标记 已翻译字符串 weblate.checks.markup.SafeHTMLCheck safe-html safe-html ignore-safe-html 译文使用了不安全的 HTML 标记。必须使用 safe-html 标志启用此检查 （请参阅