全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

Bard，作为其首次亮相的对话 LLM 产品，无疑具有其里程碑意义，尽管它的首秀并不尽 如人意，车翻了又翻。 三、 Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM 在语言理解和多模态处理能力方面的探索，甚至 Claude 2 还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的 Llama 2 更成为了 LLM 领域开源势力的典型代表，它的 出现，犹 这条路上的进一步发展。 五、 AI 编程方面，Copilot 可以根据开发者的代码提示自动补 全代码，大大提高了开发效率。这也引发了代码原创性的讨 论，但它已经实实在在将 LLM 拉进了编程应用领域。 六、 LangChain 的出现，实现了 LLM 之间的链式交互，使多 个 LLM 模型串联工作，发挥各自的优势，并且可以将 LLM 模型与外部数据源进行连接，产生更强大的语言理解 和生成效果。这开启了 讯的混元大模型、蚂蚁的百灵大模型等。 另一方面，除了大模型本身，中国在 LLM 相关技术领域也 快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速

大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 1：中国开源开发者生态数据 04 | Gitee 数据篇 MindSpore openGauss Ascend dromara anolis OpenCloudOS Stream UBML 解决 Issue 处理 PR 10 / 111 编程语言流行趋势 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024 Java JavaScript Python PHP C#

正好与基础软件庞大的开发量需求相契合。这种契合性促进了基础软件良性、可持续性发展，并因为基础软件对上层软件生态有支 撑作用，基础软件的开源价值远超过单一产品的范畴，其意义惠及软件产业全领域。 注释：由于暂无国内厂商主导的开源编程语言，因而不列入本报告研究范围。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 含编译器、基础编程语言、IED等 社区协作：鼓励各方在开放平台上协作 贡献，推动开源内容的发展 创新改进：通过资源共享与协作共生， 提升开源内容质量，并产生新的内容 自由共享：开源内容可以免费被任何人 开源项目运营：支持开发者社区运营，促进项目生态建设。拓展 开源生态链，汇聚企业、个人、组织参与开源项目。 开源品牌推广：打造年度重大品牌活动，完善传播矩阵，培养开 源人才，链接各方资源促进开源繁荣 理事会 安全委员会 技术监督委员会 依据项目属性，选取若干家行业优秀企 业共同组成，对项目未来发展献计献策 白金捐赠人 黄金捐赠人 白银捐赠人 开源贡献人 17家 13家 20家 6家 截至2023年8

这个前言里，我们就聊聊感想吧。 出圈 开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首 先是嗅觉灵敏的投资人开始关注开源这个“赛道”，然后是基于中美 对抗的背景，很多人开始从国际政治、国家实力、国家安全的角度， 来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安 全事件，更是令大家议论纷纷。这样一个令人喜忧参半的现象，也 许还会继续持续下去。 生态责任 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是 自由的。但是，在软件吞噬世界、开源吞噬软件的今天，开源技术， 2021 中国开源年度报告 3 已经成为整个世界的基础设施之一。能力越大，责任越大。应用越广， 风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何 建设更加健康的开源生态呢？在这样一种生态中，各方的责任又该 如何界定呢？ 历史感 开源社已经连续第四年发布中国开源年度报告了，也举办了第六届 中国开源年会了。不断的，在与朋友的交流中，我们常常会谈到 公司购买开源产品的决策 ………………………………………………………………………… 18 3.6 受访者所从事的技术方向 ………………………………………………………………………… 19 3.7 开发语言 …………………………………………………………………………………………… 20 3.8 Java 开发框架 ……………………………………………………………………………………… 21 3.9 PHP

开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首先是嗅觉灵敏的投资人开始 关注开源这个“赛道”，然后是基于中美对抗的背景，很多人开始从国际政治、国家实力、国家 安全的角度，来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安全事件，更 是令大家议论纷纷。这样一个令人喜忧参半的现象，也许还会继续持续下去。 Open source is getting hotter and hotter 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是自由的。但是，在软件吞噬 世界、开源吞噬软件的今天，开源技术，已经成为整个世界的基础设施之一。能力越大，责任 越大。应用越广，风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何建设更加 健康的开源生态呢？在这样一种生态中，各方的责任又该如何界定呢？ When the open source was just a niche hobby, it was free be optimized to attract contributors. 段夕华：近些年来，学生在开源人群中占比持续增多到今天接近一半，可能也是因为用人 单位越来越认可学生在开源中所展现出的编程技能、沟通能力及合作精神，因此这其中应 该也不乏各种刷榜行为，需要开源项目所有者更多关注学生贡献者增多所带来的质量、合 规等问题。 Duan Xihua: In recent years, the

训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 2、撰写python脚本； 3、提取并合并网址； 4、提取网址内容； 5、写入文件。 任务 你需要完成以下两个任务： 板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 数据分析 Open AI o3mini 响应速度快，高效输出数据分析 结果，分析各因素对关键指标生 存率的影响，语言表达自然，重 点突出结合历史背景对数据规律 进行验证，但没有察觉数据异常。 DeepSeek R1 详细展示长思维链，精准提取关键指 标“幸存率”，分析多个因素特征对 幸存率的影响，结合历史背景对数据 3.5 sonnet 基于数据集，在整体数据概括后提供多个 深入数据挖掘方向，根据需求输入研究倾 向，高效生成多个维度的数据分析，语言 简洁，挖掘深度较浅。 Kimi k1.5 提供数据的潜在用途方向，深入分 析过程中，从多个维度（如时间、 语言、地区）深入挖掘数据意义和 关联性，进一步总结趋势结论并提 出相关建议。  Kimi k1.5该任务中表现最为出色，对特征进行精准

LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained

创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 插件 Krita Python 脚本编程入门 Krita Python 插件编写教程 标签管理 新建标签 指定标签 重命名标签 删除标签 色彩校样 超出色域警告 矢量图形 矢量图形介绍 创建矢量图形的工具 至关重要，因为要是图层没有透明区域的话，把画面内容 分成几个图层又有什么意义呢？ 透明度和颜色使用相同的方式进行保存，所以它也有自己的通道。我们通常把 这条通道叫做 阿尔法通道 或者简称为 alpha。这是因为希腊字母“α”被用于在 编程中表示透明度。为了方便初学者理解，我们在 Krita 中将其翻译为 透明度 通道 。 某些老旧的应用程序会默认创建不带透明度的图像，把背景显示为白色。而 Krita 在任何情况下都会创建带有透明度通道的图像，如果图像本身不含透明 动程序。其他操 作系统的表现会好一些，但即使是内建了大部分数位板驱动的 Linux，也无法 同时识别两块使用了不同驱动程序的数位板。 软件干扰 有一些软件会在 Krita 和操作系统之间建立一个安全层，Sandboxie 就是个例 子。然而 Krita 无法在沙箱中与操作系统建立稳定的联系，所以在 Sandboxie 等软件中 Krita 会频繁出错。还有一些鼠标应用程序，如 Razer 实用程序等，

创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 插件 Krita Python 脚本编程入门 Krita Python 插件编写教程 标签管理 新建标签 指定标签 重命名标签 删除标签 色彩校样 超出色域警告 矢量图形 矢量图形介绍 创建矢量图形的工具 区域的话，把画面内容分成几个图层又有什么意义呢？ 透明度和颜色使用相同的方式进行保存，所以它也有自己的通道。 我们通常把这条通道叫做 阿尔法通道 或者简称为 alpha。这是因 为希腊字母“α”被用于在编程中表示透明度。为了方便初学者理 解，我们在 Krita 中将其翻译为 透明度通道 。 某些老旧的应用程序会默认创建不带透明度的图像，把背景显示为 白色。而 Krita 在任何情况下都会创建带有透明度通道的图像，如 位板的驱动程序。其他操作系统的表现会好一些，但即使是内建了 大部分数位板驱动的 Linux，也无法同时识别两块使用了不同驱动 程序的数位板。 软件干扰 有一些软件会在 Krita 和操作系统之间建立一个安全层， Sandboxie 就是个例子。然而 Krita 无法在沙箱中与操作系统建立 稳定的联系，所以在 Sandboxie 等软件中 Krita 会频繁出错。还有 一些鼠标应用程序，如 Razer 实用程序等，它们会把数位板信息转