全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 各行业客户的验证。目前已服务各领域头部客户百余家，包括工商银行、 浙商银行、银监会、人保金服、深圳证券交易所、华泰证券、名创优品、 古茗、百胜集团、温氏集团、万向集团、大华股份、宁波钢铁、一汽解放、 解决方案。 发布轻舟低代码平台 2.0 。 大数据开源项目 Kyuubi 全票进入 Apache 软件基金会孵化器。 有数 BI 个人版永久免费；发布机器学习平台、消费者运营平台、标签画像、流量分析等产品。 2020 2021 发布轻舟云原生软件生产力平台、有数全链路数据生产力平台。 网易云品牌升级为网易数帆，发力数字化转型基础软件。 深度参与社区 Spark 3.x 版本开发；开源企业级数据湖探索平台 规划、实施、运维各环节。 实力积淀 核心优势 STRENGTH 数帆实力 05 COMPANY 国家级组织资质 国家高新技术企业 国家规划布局内重点软件企业 国家企业技术中心 国家级博士后科研工作站 云计算技术认证资质 信通院可信云服务网格先进级（最高级别）评估 信通院数字化可信服务能力认证（轻舟低代码平台） 可信云微服务评估先进级认证 Kubernetes 一致性认证 华为鲲鹏计算兼容性测试认证

Benaich 等 作 者 联 合 撰 写 的 “ State of AI Report 2023”报告，从研究进展 (Research)、行业局 势 (Industry)、政策影响 (Politics)、安全问题 (Safety)、 未来预测 (Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 是最需要的技能。  许多 AI 采用者仍处于早期阶段：26% 的人使用 AI 不到一年，而 18% 的人已经在生产中进行了应用。  16% 从事 AI 工作的受访者表示正在使用开源模型。  意外结果、安全性、公平性、偏见和隐私是采用者测试 的最大风险。 工业和信息化部赛迪研究院数据显示，目前，我国已有超 过 19 个大语言模型研发厂商。其中，15 家厂商的模型 产品已经通过备案，预计今年我国大语言模型市场规模将 (Hybrid CDN)是爱奇艺技术团队研发的大 规模混合架构在线视频数据分发技术。 有网友指出，这是爱奇艺客户端将电视机当成了自己的 PCDN 服务器，因此 会在后台持续执行上传任务。这种白嫖电费、流量、存储空间的操作，爱奇 艺要给用户打钱才对。 2023 年 9 月，上海警方接到某科技公司员 工张女士报案称，其公司发现计算机系统 被他人篡改数据，导致公司账户钱款损失。 民警对公司后台电子数据出现的异常账户

低，可以在资源有限的环境下运行良好。 易于部署和维护: 轻松地部署在各种服务器上，不需要复杂的配置和依赖。这使得个人开发者或小团队可以方 便地设置和管理自己的 Git 服务。 安全性: Gitea 注重安全性，提供了用户权限管理、访问控制列表等功能，可以确保代码和数据的安全性。 代码评审：代码评审同时支持 Pull Request workflow 和 AGit workflow。评审⼈可以在线浏览代 码，并提交评审意见或问题。 Gitea 服务器与数据库之间的连接， 而 Gitea 本身使用 Go 提供的数据库驱动程序完成相同的任务。此外，请确保服务器和客户端使用相同的引擎版 本，以使某些引擎功能正常工作。出于安全原因，请使用安全密码保护 root （MySQL）或 postgres （PostgreSQL）数据库超级用户。以下步骤假设您在数据库和 Gitea 服务器上都使用 Linux。 1. 对于远程数据库设置，您需要让 mysql -u root -p 按提示输入密码。 3. 创建一个将被 Gitea 使用的数据库用户，并使用密码进行身份验证。以下示例中使用了 'gitea' 作为密 码。请为您的实例使用一个安全密码。 对于本地数据库： 1. SET old_passwords=0; 2. CREATE USER 'gitea' IDENTIFIED BY 'gitea'; 对于远程数据库： 1.

Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 1：中国开源开发者生态数据 04 | 了中国开源模型从追 随者到行业引领者的跨越式成长，也为全球人工智能发展注入了新的活力与动力。中国开源模型 的成功并非偶然。在政府对人工智能产业的持续支持以及国内人工智能行业对模型研发的巨额投 入下，从基础算法到行业应用、从算力基础设施到数据资源整合，中国人工智能生态体系正在迅 速完善。这一趋势表明，未来中国有可能在全球人工智能领域占据更为核心的地位。 开源生态的繁荣与协作 随着开源模型 广泛学习。在 B 站刷视频，国 内知名的那几个大模型厂商的广告，你一个也不会落下。 受到大家的认可与喜爱固然重要，但对于 C 端用户，有两个需要时刻牢记的问题：一是 C 端用户是没有忠诚度的，谁免费就用谁，谁给补贴就用谁；二是某一个大模型对 C 端用户比较 难产生独特的粘性。 第一个问题的例证太多了，百团大战、滴滴快的、社区团购、pdd。大模型厂商维系 C 端 流量的成本可能是个无底洞。

开源项目运营：支持开发者社区运营，促进项目生态建设。拓展 开源生态链，汇聚企业、个人、组织参与开源项目。 开源品牌推广：打造年度重大品牌活动，完善传播矩阵，培养开 源人才，链接各方资源促进开源繁荣 理事会 安全委员会 技术监督委员会 依据项目属性，选取若干家行业优秀企 业共同组成，对项目未来发展献计献策 白金捐赠人 黄金捐赠人 白银捐赠人 开源贡献人 17家 13家 20家 6家 截至2023年8 开源项目 40+个储备开 源项目 工业开源体系 区块链 云原生与超算 RISC-V芯片 终端操作系统 设计自动化 人工智能 开发环境及语言 中间件、数据库 工具软件 服务器操作系统 安全体系 16 中国开源基础软件 产业细分领域洞察 03 17 ©2023.11 iResearch Inc. 及绘制。 操 作 系 统 开 源 社 区 常 见 小 组 分 布 操 作 系 统 适 配 生 态 概 览 技术类 语言 基础功能 中间件 图形/桌面 架构/内核 云原生基础设施 安全 测试 行业解决方案 治理类 职能组织 社区基础设施 版本发行 社区生态管理 服务器 云计算 边缘计算 智能终端 桌面 … 操作系统应用场景 处理器 … 服务器 端设备

这个前言里，我们就聊聊感想吧。 出圈 开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首 先是嗅觉灵敏的投资人开始关注开源这个“赛道”，然后是基于中美 对抗的背景，很多人开始从国际政治、国家实力、国家安全的角度， 来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安 全事件，更是令大家议论纷纷。这样一个令人喜忧参半的现象，也 许还会继续持续下去。 生态责任 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是 自由的。但是，在软件吞噬世界、开源吞噬软件的今天，开源技术， 2021 中国开源年度报告 3 已经成为整个世界的基础设施之一。能力越大，责任越大。应用越广， 风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何 建设更加健康的开源生态呢？在这样一种生态中，各方的责任又该 如何界定呢？ 历史感 开源社已经连续第四年发布中国开源年度报告了，也举办了第六届 中国开源年会了。不断的，在与朋友的交流中，我们常常会谈到 年度最受开发者关注的组织 ……………………………………………………………………… 67 2.7 Gitee 指数 ………………………………………………………………………………………… 68 2.8 开源安全与合规 …………………………………………………………………………………… 70 3 总结 ………………………………………………………………………………………… 71 2021 中国开源年度报告商业化篇

你可以按照自己的使用习惯任意组合、排列工具面板，然后把界面的显示状态 保存为工作空间。 要阻止工具面板在拖动时自动吸附画布边缘，请按住 Ctrl 再拖动它们。 滑动条 Krita 使用滑动条来控制笔刷大小、不透明度、流量、调整色相、饱和度等数 值。下面是一个 Krita 滑动条的例子。 滑动条从左到右的宽度代表了某项数值从小到大的范围。蓝色的部分显示了当 前数值在该范围中的相对比例。你可以点击滑动条的任意位置直接调整成对应 处打开对话框 。Krita 有两个工具栏，在这里我们先假定你 要添加按钮到文件/主工具栏 (file/mainToolbar) 。 在弹出的对话框中，在左栏的过滤框输入文字可搜索需要的按钮。例如输 入“放大”，找到放大按钮，然后把它拖放到右栏。如果界面有显示 “更改文 字” 按钮，则可以在那里勾选 “当工具栏项目同时具有文字和图标时隐藏文 字”，这样按钮将仅显示图标。完成后点击 确定，放大按钮就会被插入在你刚 一样，你可以把黑白图像的白色区域替换成透明区域。在菜单栏点击 滤镜 –> 颜色 –> 颜色转为透明度。 笔刷选项 有些人会误以为 Krita 的笔刷引擎过于简陋——毕竟在顶部工具栏里你只能更 改笔刷大小、流量和不透明度。 不过这真是个天大的误会，因为 Krita 的笔刷引擎实在是太过强大，根本没法 放到工具面板里面，我们不得不把笔刷选项都藏到工具栏的一个下拉面板按钮 里面了。你可以按 F5 调出该面板，感受一下密集的恐怖。Krita

org/en/item/krita-available- from-the-windows-store/]在功能上与免费版本完全一致，唯一的不同 在于收费版本可以依托软件商店平台进行自动更新。收费版本的收 入在扣减平台费用后将全部用于 Krita 项目的开发工作，请将其视 作对 Krita 基金会的一种捐款形式。 官方网站： Krita 的最新版本可从 Krita 官方网站 [https://krita 你可以按照自己的使用习惯任意组合、排列面板，然后把界面的显 示状态保存为工作区。 要阻止面板在拖动时自动吸附画布边缘，请按住 Ctrl 再拖动它们。 滑动条 Krita 使用滑动条来控制笔刷大小、不透明度、流量、调整色相、 饱和度等数值。下面是一个 Krita 滑动条的例子。 滑动条从左到右的宽度代表了某项数值从小到大的范围。蓝色的部 分显示了当前数值在该范围中的相对比例。你可以点击滑动条的任 意位置直 一样，你可以把黑白图像的白色区域替换成透明区域。在菜 单栏点击 滤镜 –> 颜色 –> 颜色转为透明度。 笔刷选项 有些人会误以为 Krita 的笔刷引擎过于简陋——毕竟在顶部工具栏 里你只能更改笔刷大小、流量和不透明度。 不过这真是个天大的误会，因为 Krita 的笔刷引擎实在是太过强 大，根本没法放到一个面板里面，我们不得不把笔刷选项都藏到工 具栏的一个下拉面板按钮里面了。你可以按 F5 调出该面板，感受一

开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首先是嗅觉灵敏的投资人开始 关注开源这个“赛道”，然后是基于中美对抗的背景，很多人开始从国际政治、国家实力、国家 安全的角度，来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安全事件，更 是令大家议论纷纷。这样一个令人喜忧参半的现象，也许还会继续持续下去。 Open source is getting hotter and hotter 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是自由的。但是，在软件吞噬 世界、开源吞噬软件的今天，开源技术，已经成为整个世界的基础设施之一。能力越大，责任 越大。应用越广，风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何建设更加 健康的开源生态呢？在这样一种生态中，各方的责任又该如何界定呢？ When the open source was just a niche hobby, it was free competitiveness, and maintainability of the product itself. 段夕华：不知道 21 年底所爆发的 log4j 漏洞，是否会让公司购买开源产品更加保守谨 慎？开源安全任重而道远。 Duan Xihua: I wonder if the log4j vulnerability in late 2021 will make companies more conservative