全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

Part 2： TOP101-2024 大 模 型 观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 Part 1：中国开源开发者生态数据 04 | Gitee 数据篇 Part 3：国内 GenAI 生态高亮瞬间 104 | 中国 GenAI 消费应用人气榜 Top10 15 | OSS Compass Insight 106 | AI 创新应用开发大赛获奖作品 局长，OSCHINA 副主编 肖滢，OSCHINA 副主编 李泽辰，Gitee 主编 高瞻，Gitee AI 运营 设计：张琪

的台阶，为 LLM 的广泛应用奠定了基础。再之后的 11 月份，OpenAI 再发力，GPTs 的到来，“用户自定义 ChatGPT”的能力，更是让世人领略了 OpenAI 作为 LLM 一哥的宏大叙事能力与强劲技术实力。 二、 New Bing（Bing AI）代表了微软在 LLM 领域的野心和 决心，它首次把当时世人能想到最有价值又可行的 LLM 应用场景——“智能对话+联网搜索”——无缝整合了起来， 全代码，大大提高了开发效率。这也引发了代码原创性的讨 论，但它已经实实在在将 LLM 拉进了编程应用领域。 六、 LangChain 的出现，实现了 LLM 之间的链式交互，使多 个 LLM 模型串联工作，发挥各自的优势，并且可以将 LLM 模型与外部数据源进行连接，产生更强大的语言理解 和生成效果。这开启了 LLM 集成应用的新方向，并诞生了 一个新的细分领域“LLMOps”。 七、 “提示词工程”，这是 LLM 从传 统的模型训练和应用模式，转向以 Agent 为中心的智能 化模式。LLM Agent 打破了传统 LLM 的被动性，使 LLM 能够主动学习和执行任务，从而提高了 LLM 的应用 范围和价值；它为 LLM 的智能化发展提供了新的方向， 使 LLM 能够更加接近于人类智能。 九、 AI 原生，目前还没有明确的定义，大致是说，不同于当前 各种应用在原本的基础上增加 AI 能力，使其智能化，但

10政企、创业者必读 面对全球大模型产业之争，要打赢「三大战役」 AGI之战 应用场景之战 大模型安全之战 • 探索超越人类的超级人工 智能AGI • 不仅是科技之争，更是国 运之争 • 不发展是最大的不安全， 发挥举国体制优势，打赢 追赶之战 • 大模型带来前所未有安全 挑战 • 外挂式传统安全手段难以 应对 • 应对模型安全新挑战，打 赢未雨绸缪之战 • 大模型是能力而非产品， 结合场景才能发挥价值 结合场景才能发挥价值 • 中国拥有最完整的产业链、 最全的工业门类、最丰富 的场景 • 发挥场景优势，加速传统 产业数转智改，打赢弯道 超车之战 AGI是全球少数玩家的游戏，政府、企业、创业者更多创新的机会在应用之路 11政企、创业者必读 把大模型拉下神坛！ 走入千家万户、百行千业，才能掀起新工业革命 • 当年IBM做出超级电脑，并没有带来工业 革命，因为只有少数人用 • IBM甚至声称，全世界只用5台电脑就够了 具备强大推理能力，思维过程更加缜密，智能性提升 用起来更像真人，写作能力更强，想象力更丰富 31政企、创业者必读 DeepSeek-R1用户体验改善的作用  R1在零广告投入下7天增长1亿用户，创最快应用破亿里程碑  把人工智能从不可用、凑合用，变成大家都能用、都爱用  推动市场加速发展，在中国用户、企业和政府彻底普及了一次AI  中国可能成为全球AI普及率、渗透率最高的国家， 加速了中国爆

具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 含编译器、基础编程语言、IED等 社区协作：鼓励各方在开放平台上协作 自由共享：开源内容可以免费被任何人 查看、学习、使用 透明与可审查：开源的源代码可以被任 何人审查验证、保持质量 开源精神 通过传递一种对于知 识分享、知识透明和 平等合作的价值观， 凝聚群众力量，促进 开源内容传播应用与 迭代升级，达到社会 集体效应最大化 5 ©2023.11 iResearch Inc. Apache许可证 百分比（%） 来源：Gitee《2022中国开源开发者报告》，结合专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 开发者对常见开源许可证了解情况 开源开发者对于许可证种类与应用的了解不全 17%的开源开发者对于所有开源许可证不了解但直接使用 开发者对于许可证的种类认知并不全面，了解程度最高的 Apache许可证占比仅有60%，对于常见开源许可证都了解且 自觉遵守的开发者占比只有11%。

业发展、引领产业升级、保障产业安全的支撑作用，更好推 进人工智能赋能新型工业化，特制定本指南。 一、产业发展现状 人工智能是引领新一轮科技革命和产业变革的基础性 和战略性技术，正成为发展新质生产力的重要引擎，加速和 实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 2 表的新技术加速迭代，人工智能产业呈现出创新技术群体突 破、行业应用融合发展、国际合作深度协同等新特点，亟需 完善人工智能产业标准体系。 二、总体要求 以习近平新时代中国特色社会主义思想为指导，全面贯 彻党的二十大和二十届二中全会精神，认真落实中央经济工 作会议和全国新型工业化推进大会部署要求，完整、准确、 全面贯彻新发展理念，统筹高质量发展和高水平安全，加快 赋能新型工业化，以抢抓人工智能产业发展先机为目标，完 善人工智能标准工作顶层设计，强化全产业链标准工作协 同，统筹推进标准的研究、制定、实施和国际化，为推动我 国人工智能产业高质量发展提供坚实的技术支撑。

开放原子开源基金会出品 2023年5月 2023 CONTENTS 目录 01 行业发展 02 前沿技术 03 开源安全 AMD正计划使用开源的OpenSIL代替AGESA 开放服务网格OSM（Open Service Mesh）项目已停止维护 KSOC推出业内首个实时Kubernetes安全态势管理平台 Nutanix推出Kubernetes数据管理平台 Nutanix Data Services for OSM（Open Service Mesh）是一个轻量级、 可扩展的云原生服务网格项目，旨在为运行在 Kubernetes上的应用程序提供简单、完整且独 立的服务网格解决方案，包括处理在Kuberne- tes集群上运行的微服务的流量管理、策略执行 和可观测性等任务，以简化应用程序的部署和 管理。OSM于2020年8月推出，同年加入云原 生计算基金会（CNCF）。不久后，该项目成为 云原生计算基金会（CNCF）沙箱级别的项目。 进Istio的发展。此外，OSM向云原生计算基 金会（CNCF）申请进行项目归档，目前还未 真正执行。 KSOC推出业内首个实时 Kubernetes安全态势管理平台 近日，KSOC推出业内首个实时Kubernetes安 全态势管理平台。Kubernetes安全态势管理平 台可以通过实时上下文以及当前和历史信息准 确定位攻击活动，同时还可以根据集群的当前 状态提供可操作的补救措施。具体功能包括： • 实时态势管理，发现基于事件的错误配置；

产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 各 信通院云计算标准和开源推进委员会成员 信通院首批开源供应商 浙江省云计算和大数据省级企业研究院 CNCF 官方认可的 Kubernetes 服务提供商 CNCF KCSP认证 管理体系相关资质 ISO 27001 信息安全管理体系认证 ISO 2000 信息技术服务管理体系认证 ISO 9001 质量管理体系认证 CSA STAR Certification 2013 服务管理认证 CMMI (三级) 认证 大数据技术认证资质 华为鲲鹏技术兼容性测试认证 QUALIFICATION 数帆资质（部分） 06 及以前 《Gartner 2020 中国 ICT 技术成熟度曲线》数据中台领域标杆厂商 信通院“大数据'星河'案例-行业大数据应用优秀案例” 信通院 OSCAR 尖峰开源创新（二次开发）奖 云计算开源产业联盟云原生十大优秀案例 infoQ 中国技术力量年度榜单 InfoQ2020 最有价值技术团队 InfoQ2020 最佳技术社区驱动力奖

com 本程序是自由软件：您可以在自由软件基金会发布的 GNU 通用公共许可证第 三版，或（您选择的）更新版本的条款之下，将其重新发布并且/或者修改。 发布本程序希望它有用，但不作任何担保；甚至没有应用可销售性或适于特定 目的的担保。更多细节请参见 GNU 通用公共许可证。 您应该与本程序一起收到 GNU 通用公共许可证的副本。如果没有的话，请参 见 。 翻译进程 检查和修正 配置自动建议 附加组件 翻译记忆库 配置 配置的示例 管理命令 公告 部件列表 可选的 Weblate 模块 定制 Weblate 管理界面 从 Weblate 获取支持 法律文件 应用开发者指南 从国际化开始 与 Weblate 集成 使用 GNU gettext 来翻译软件 使用 Sphinx 翻译文档 使用 Weblate CDN 翻译 HTML 和 JavaScript 本地化库和包 Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.15 Weblate 4.14.2 Weblate 4.14.1 Weblate 4.14 Weblate

翻译进程 检查和修正 配置自动建议 附加组件 翻译记忆库 配置 配置的示例 管理命令 公告 部件列表 可选的 Weblate 模块 定制 Weblate 管理界面 从 Weblate 获取支持 法律文件 应用开发者指南 从国际化开始 与 Weblate 集成 使用 GNU gettext 来翻译软件 使用 Sphinx 翻译文档 使用 Weblate CDN 翻译 HTML 和 JavaScript 本地化库和包 Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.15.1 Weblate 4.15 Weblate 4.14.2 Weblate 4.14.1 中，翻译被组织成项目和部件。每个项目可以包含多个部件，这 些部件又包含各个语言的翻译。部件对应的是一个可翻译的文件（例如 GNU gettext 或 Android 字符串资源）。项目可以帮助您将部件组织成逻辑集合 （例如，将一个应用中用到的所有翻译集合在一起）。 默认情况下，每个项目内都有对跨部件传播的公共字符串的翻译。这减轻了重 复和多版本翻译的负担。但假如翻译应当有所不同，可以使用 允许同步翻译 通过 部件配置 禁用翻译传播。