全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取 包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。 人工智能安全治理框架 （V1.0）- 2 - 人工智能安全治理框架 1.2 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势，从人工 智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对 措施。关注安全风险发展变化，

www.iresearch.com.cn 基础软件开源界限划分 操作系统、数据库、中间件、AI框架底层代码按规范进行共享与协作 本篇报告研究的基础软件开源范围，是指研究“开源”中“基础软件”板块的情况。开源过程中，参与者可以共享、协作完成开发， 正好与基础软件庞大的开发量需求相契合。这种契合性 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 www.iresearch.com.cn 中国基础软件开源产业主要参与者图谱 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 中间件 操作系统 AI框架 数据库 开源技术论坛 开源产业联盟 开源组织 基础软件开源项目 开源基金会 开源社区评估机构 X-Deep Learning 开源代码托管平台 11 ©2023.11 iResearch

快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模型的研究成果在国际顶级学术期刊《自然》正 场面”。 1 1 目录 一、开源开发者事件回顾 三、中国开发者开源新动向 二、2023 LLM 技术报告  46 | 向量数据库  47 | 数据库向量支持  48 | 大模型框架、微调  51 | 大模型训练平台与工具  53 | 编程语言  57 | 知名大模型  58 | 备案上线的中国大模型  21 | 硬核发版  26 | 热门话题  33 105 小时之后，该事件迎来大结局—— Sam Altman 重返 OpenAI 担任首席执行官，OpenAI 成立全新董事会，微软 将在董事会中获得一个无投票权的观察员席位。 最火热 LLM 应用框架 LangChain 与此同时，零一万物完成由阿里云领投的新一轮融资，估值已超 10 亿美 元，跻身独角兽行列。 8 / 87 1 1 开源开发者事件回顾 京东发布言犀大模型 百度推出 AI

+ 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 成的内容。 ▪ 挑战预设思维模式：通过打破任务的常规设定，促使AI生成具有挑战性和创新性的内容。 灵活运用任务开放性：给AI自由发挥的空间 创新设计策略： ▪ 设定基本框架，留出探索余地：提示语应提供一个结构化的框架，包含具体的生成目标，但不应过度限制表 达方式或细节内容，给AI足够的空间进行创造。 ▪ 多维度任务引导：通过引导AI从多个角度看待问题，激发其对生成内容的多样化思考。 AI缺陷：臆造之辞 从期望结果 开始 倒推提示语 结构 灵活调整提 示语细节 矛盾思维法：利用对立促进创新 引入对立概 念 利用矛盾性促进创新 提出冲突性任务要求 融合批判性思维与创新推理 • 质疑既有框架 • 创新推理 多方论证与批判结合， 增强生成内容的全面性 涌现思维模型：利用集体智慧的提示语设计 提示语链的概念与特征 提示语链是用于引导AI生成内容的连续性提示语序列。通过将复

+ 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 成的内容。 ▪ 挑战预设思维模式：通过打破任务的常规设定，促使AI生成具有挑战性和创新性的内容。 灵活运用任务开放性：给AI自由发挥的空间 创新设计策略： ▪ 设定基本框架，留出探索余地：提示语应提供一个结构化的框架，包含具体的生成目标，但不应过度限制表 达方式或细节内容，给AI足够的空间进行创造。 ▪ 多维度任务引导：通过引导AI从多个角度看待问题，激发其对生成内容的多样化思考。 AI缺陷：臆造之辞 从期望结果 开始 倒推提示语 结构 灵活调整提 示语细节 矛盾思维法：利用对立促进创新 引入对立概 念 利用矛盾性促进创新 提出冲突性任务要求 融合批判性思维与创新推理 • 质疑既有框架 • 创新推理 多方论证与批判结合， 增强生成内容的全面性 涌现思维模型：利用集体智慧的提示语设计 提示语链的概念与特征 提示语链是用于引导AI生成内容的连续性提示语序列。通过将复

年的约 1,19 万 增加了约 21.2%。 1.2 指标解释 2、主要内容与发现 2.1 世界开源 Top10 项⽬ 活跃度最⾼的项⽬是来⾃⾕歌的前端跨平台开发框架 flutter/flutter，此外，源于⾕歌的深度 学习框架 tensorflow/tensorflow，容器编排系统 kubernetes/kubernetes 也分别位于第 5 名和第 6 名，这说明了⾕歌在开源上的努⼒和影响⼒获得了业内的认可。 从这个列表中，我们发现，阿⾥在开源领域中的成绩显著。Top10 项⽬中上榜的项⽬有 4 个，除了蚂蚁⾦服采⽤ React 封装的⼀套组件库 ant-design/ant-design，基于 Ant Design 框架搭建的中后台管理控制台的脚⼿架 ant-design/ant-design-pro 和致⼒于配置和管理微 服务的特性集 alibaba/nacos 外，饿了么（已被阿⾥收购）的开源项⽬ ElmFE/element 习平台 PaddlePaddle 占据了 6 个项⽬，分 别是核⼼框架 Paddle 以及相关⼯具库、扩展版本和模型库 Models；此外开放⾃动驾驶平台 ApolloAuto/apollo 也榜上有名。 中国的 Top50 项⽬列表中，包括阿⾥的 Ant-Design 组件库，京东基于 React 前端框架的 开发框架 taro，由饿了么（已被阿⾥收购）前端团队开源的 Vue UI 组件库

本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps gitbook/assets/ml_system.svg 4 / 32 LLM 基础设施 01 03 02 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 vector-database/） 7 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning) 大模型框架指专门设计用于构建、训练和部署大型机器 学习模型和深度学习模型的软件框架。这些框架提供了 必要的工具和库，使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量，并有效地利用硬件资源。 微调（Fine Tuning）是在大模型框架基础上进行的一个 关键步骤。在模型经过初步的大规模预训练后，微调是

中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 开发基础设施，本部分图表 中的开发框架、向量数据库、 开发平台、大模型均表现出 色，代表着它们的代码提交 频率、参与者、代码合并比 率等协作开发工作保持着较 高的水平。 17 / 111 OSS Compass Insight 本部分图表仅用于数据展示，不涉及先后排名 稳健性-活跃度 作为 AI 开发生态中的关键组 成部分，本部分图表中的开发 框架、大模型及相关工具在活 跃度的表现各有千秋。 2.0（专家建议稿）》对于免费且已开源方式提供人工智能研发的个人和 组织给予减轻或免承担法律责任；《生成式人工智能服务管理暂行办法》 则明确了人工智能技 术的使用和合规要求，促进了开源模型在合规框架下良性发展。 变革 端上模型的兴起与隐私保护 随着小型模型的性能逐步增强，更多高级 AI 正转向在个人设备上运行。这一趋势不仅显著 降低了云端推理成本，还提升了用户隐私控制。 中国 AI 社区在这一领域也做了重要贡献，推出了如

实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 （一）人工智能标准体系结构 人工智能标准体系结构包括基础共性、基础支撑、关键 技术、智能产品与服务、赋能新型工业化、行业应用、安全 /治理等 7 个部分，如图 1 所示。其中，基础共性标准是人 工智能的基础性、框架性、总体性标准。基础支撑标准主要 规范数据、算力、算法等技术要求，为人工智能产业发展夯 实技术底座。关键技术标准主要规范人工智能文本、语音、 图像，以及人机混合增强智能、智能体、跨媒体智能、具身 人 4 工智能产业发展提供安全保障。 图 1 人工智能标准体系结构图 （二）人工智能标准体系框架 人工智能标准体系框架主要由基础共性、基础支撑、关 键技术、智能产品与服务、赋能新型工业化、行业应用、安 全/治理等 7 个部分组成，如图 2 所示。 5 图 2 人工智能标准体系框架图 6 四、重点方向 （一）基础共性标准 基础共性标准主要包括人工智能术语、参考架构、测试评估、

……………… 20 3.8 Java 开发框架 ……………………………………………………………………………………… 21 3.9 PHP 开发框架 ……………………………………………………………………………………… 21 3.10 Ruby 开发框架 …………………………………………………………………………………… 22 3.11 Go 开发框架 ……………………………………………………………………………………… ……………………………… 22 3.12 Node.js 开发框架 ………………………………………………………………………………… 23 3.13 Python 开发框架 ………………………………………………………………………………… 23 3.14 前端开发框架 …………………………………………………………………………………… 24 3.15 数据库……………………………………………………………………………………………… …………………………………………… 25 3.16 版本控制工具 …………………………………………………………………………………… 26 3.17 AI 开发框架 ……………………………………………………………………………………… 26 3.18 云原生组件 / 工具 ………………………………………………………………………………… 27 4 开源社区参与现状 …………………………………………………………………………