发展的新阶段。LLM Agent 是一种基于 LLM 的智能代 理，它能够自主学习和执行任务，具有一定的“认知能力 和决策能力”。LLM Agent 的出现，标志着 LLM 从传 统的模型训练和应用模式，转向以 Agent 为中心的智能 化模式。LLM Agent 打破了传统 LLM 的被动性，使 LLM 能够主动学习和执行任务，从而提高了 LLM 的应用 范围和价值；它为 LLM 的智能化发展提供了新的方向， 快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模 西。它需 要你不断完善自己的输入，甚至有时候可能要求在你自身都不 知道“可以想要一个什么东西”的情况下去输入。 这样的话其实就是你在输入与输出：整个事情我都想通了，方 案我其实也就都出来了，机器给到我的都只是一个个独立性 的、小而窄的、解决掉一点一点问题的东西。 举个例子，我说我肚子疼，它会直接告诉我肚子疼可能是因为 什么，怎样做可以缓解或者解决，但它不会一点一点进行“望 闻问切”

LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM  插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 (Fine Tuning) 大模型框架指专门设计用于构建、训练和部署大型机器 学习模型和深度学习模型的软件框架。这些框架提供了 必要的工具和库，使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量，并有效地利用硬件资源。 微调（Fine Tuning）是在大模型框架基础上进行的一个 关键步骤。在模型经过初步的大规模预训练后，微调是 用较小、特定领域的数据集对模型进行后续训练，以使 其更好

TypeScript连续两年成为了 Gitee年度增长最快编程语言 （2023年增长率为49.04%）， 同样持续强势的还有Rust以及 C语言家族。 此外，Dart及Arduino首次上榜， 符合2024年跨平台开发及机器 人开发的潮流。 12 / 111 本年度最常用开源许可证 MIT 33.91% Apache-2.0 27.28% MulanPSL-2.0 11.70% GPL-3.0 8.55% Insight 2024 中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 通个人用户。OpenAI 在 ChatGPT 上一个重要且成功的操作就是把大模型从学术界、工业界直接推向了普通个体，让 C 端用户切 实感受到了大模型的可能性与魅力。这一点被国内的大模型厂商广泛学习。在 B 站刷视频，国 内知名的那几个大模型厂商的广告，你一个也不会落下。 受到大家的认可与喜爱固然重要，但对于 C 端用户，有两个需要时刻牢记的问题：一是 C 端用户是没有忠诚度的，谁免费就

据、零售大数据、制造业智慧供应链等行业解决方案。 发布轻舟低代码平台 2.0 。 大数据开源项目 Kyuubi 全票进入 Apache 软件基金会孵化器。 有数 BI 个人版永久免费；发布机器学习平台、消费者运营平台、标签画像、流量分析等产品。 2020 2021 发布轻舟云原生软件生产力平台、有数全链路数据生产力平台。 网易云品牌升级为网易数帆，发力数字化转型基础软件。 深度参与社区 COMPANY 背靠24 年互联网技术积累 成熟可靠 年 24 140 余项技术专利 140 12 亿终端用户体验支持 亿 12 100 余家行业头部客户 + 100 产品与方案均经 网易大规模内部实践验证； 标杆项目均与行业龙头企业共建。 自主可控 产品基于开源内核， 底层实现全面跨云； 基础软件实现国产兼容，推动信创。 原厂服务 原厂服务，核心技术方案不外包； 全过程服务覆盖咨询、 实时数据传输 运维中心 离线开发平台 实时计算平台 集群运维 任务运维 文件管理 任务开发 租户管理 自助分析 权限管理 可视化调度 数据开发及管理平台 标签画像 消费者运营平台 机器学习平台 BI 有数优势 有数全链路数据生产力平台2.0能力全景图 易用 覆盖企业数据全链路的大数 据产品，全面降低数据使用门 槛。 开放 专注大数据技术领域，核心 技术自主可控，支持多云和跨

…………………………………………………………………………… 34 4.8 一个项目的哪些特征对于您留下成为项目贡献者的重要度评级 ……………………………… 35 4.9 开源项目是否集成 RPA（机器人流程自动化） ………………………………………………… 36 4.10 开源活动 ………………………………………………………………………………………… 37 4.11 聊天运维工具 ……………… 杨丽蕴：我国开源人才后备力量足、基数大。 我国高校越来越重视开源人才的培养 , 越来越多的学生参与到开 源开发中，开源人才培养周期前置，越来越多的学校开设开源课程，希望后续可以实现在学习计算机、编译原 理、软件工程等理论知识的同时，让学生学习掌握开源开发模式、理解认同开源文化。 参与者职位分布 产品经理，9,2% CTO/CEO 公司负责人，26,5% CTO/CEO 公司负责人 产品经理 教师 开发者 39% 和 25%。 专家点评 段夕华： 科技型初创公司用开源来实现技术能力展现，吸引潜在合作伙伴，这个趋势不容忽视。这其中国内 最为抢眼的就是 PingCAP/TiDB，其开源策略、战术均值得大家学习借鉴。 堵俊平：这两年，一个很明显的趋势是越来越多的初创企业参与开源。这一方面得益于 ToB 赛道成为市场和 政策导向的热点，另一方面开源所代表的开放式创新也被投资界所认可。尤其是开源与数据（数据库

产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 方法，包括人工智能计算设备虚拟化方法，人工智能加速模组接 口协议和测试方法，及使能软件的访问协议、功能、性能、能效 的测试方法和运行维护要求等标准。 5. 算力中心标准。规范面向人工智能的大规模计算集群、 新型数据中心、智算中心、基础网络通信、算力网络、数据存储 8 等基础设施的技术要求和评估方法，包括基础设施参考架构、计 算能力评估、技术要求、稳定性要求和业务服务接口等标准。 6 （三）关键技术标准 关键技术标准主要包括机器学习、知识图谱、大模型、自然 语言处理、智能语音、计算机视觉、生物特征识别、人机混合增 强智能、智能体、群体智能、跨媒体智能、具身智能等标准。 1. 机器学习标准。规范机器学习的训练数据、数据预处理、 模型表达和格式、模型效果评价等，包括自监督学习、无监督学 习、半监督学习、深度学习、强化学习等标准。 2. 知识图谱标准。规范知识图谱的描述、构建、运维、共

含编译器、基础编程语言、IED等 社区协作：鼓励各方在开放平台上协作 贡献，推动开源内容的发展 创新改进：通过资源共享与协作共生， 提升开源内容质量，并产生新的内容 自由共享：开源内容可以免费被任何人 查看、学习、使用 透明与可审查：开源的源代码可以被任 何人审查验证、保持质量 开源精神 通过传递一种对于知 识分享、知识透明和 平等合作的价值观， 凝聚群众力量，促进 开源内容传播应用与 迭代升级，达到社会 com.cn 开源企业洞察（2/2） 开源部门引领下，企业内多组织人员协作配合，推进开源项目正常运营 开源项目需要企业内多组织的共同投入，开源项目的良好运营也需要不同组织间的通力协作。我国较大规模的开源企业发起者，每 年投入开源项目的资金量达到10亿元级别，同时企业从包含技术、产品、运营、战略、职能各部门组织超过千人的团队，投入到开 源项目的治理。近年来，越来越多的企业选择在内部设立开源部门 实现互惠互利、共建共享 获得职业发展机会 提高自我认同 提升自身知识技术水平 占比（%） 56.6% 53.9% 参与开源贡献的原因 开源代码仓、开源社区公开课程、讲座、技术指南已 成为开发者在工作学习外的重要行业知识来源 知识技术 水平提升 实现自我 价值认同 开发者多以兴趣为导向选择开源项目，在帮助项目逐 渐完善的过程中，完成自身的价值认同 获得职业 发展机会 对开源社区的贡献能够很好的反应开发者的技术素

杨丽蕴：我国开源人才后备力量足、基数大。 我国高校越来越重视开源人才的培养,越来 越多的学生参与到开源开发中，开源人才培养周期前置，越来越多的学校开设开源课程， 希望后续可以实现在学习计算机、编译原理、软件工程等理论知识的同时，让学生学习掌 握开源开发模式、理解认同开源文化。 Yang Liyun: China's open source talent reserve is sufficient; the [Expert Comment] 段夕华： 科技型初创公司用开源来实现技术能力展现，吸引潜在合作伙伴，这个趋势不 容忽视。这其中国内最为抢眼的就是 PingCAP/TiDB，其开源策略、战术均值得大家学习 借鉴。 Duan Xihua: Technology startups use open source to show their technical capabilities and Comment] 堵俊平：在欧美，邮件列表和 Issue 是开源开发者交流的主要方式，这样既可以公开、 透明，又可以把讨论的过程沉淀下来，降低后加入者的学习成本。国内开发者当前习惯在 微信群中讨论问题，但受限于微信群的规模以及非公开的讨论问题的方式，需要聊天机器 人等辅助工具才能达成开源社区的沟通需要。 Du Junping: In Europe and the United States, mailing

推理能力：核心突破，专项升级  推理能力 • 强化学习驱动：DeepSeek R1-Zero 是首个完全基于强化学习（RL） 训练的推理模型，无需任何监督微调（SFT）步骤，打破传统模型依 赖大量标注数据的惯例。DeepSeek-R1 采用强化学习作为核心训练 方法，显著提升了模型的推理能力和语言表达的可读性。 • 推理能力专项提升：在除了利用强化学习模型结合跨领域训练提升模 型综合技能以外， 展 示 推 理 路 径 自 我 修 正 DeepSeek R1 的核心突破在于其通过强化学习驱动的推理能力。该 模型在训练过程中，通过强化学习技术，显著提升模型的推理能力， 使其在数学、编程和自然语言推理等任务上表现出色。 传统依赖： 大规模监督微调（SFT） 创新思路： 强化学习（RL）驱动  推理效率 • 长思维链支持：DeepSeek R1 支持长链推理，能够生成数万字的 点，解决强化学习训练初期的不稳定问题，规范模型的输出格 式和推理链条，使其更符合人类可读性。 • 数据来源与特点：这些数据部分来源于清理后的R1-Zero 输出， 还包括人工后处理的长思维链（CoT）数据。其数量相对较少 但质量高，经过精心设计，具有良好的可读性和结构化特点。 • 对模型训练的影响：冷启动数据为模型训练奠定了坚实的基础， 使模型在后续的强化学习阶段能够更稳定地学习和优化。它解

Intelligence，人工通用智能）是一种理论上的人工智能， 它可以理解、学习和应用知识跨越各种不同领域，功能上等同于人类智能。 与专用人工智能（AI）不同，AGI 能够执行任何智力任务，具备自我意识和 自适应学习能力。AGI 的研发目标是创造出可以广泛地模拟人类认知能力的智 能系统。 1.3 大模型 大模型通常指的是大规模的人工智能模型，这类模型通过训练大量的数据来获 得广泛的知识和能力。这些 得广泛的知识和能力。这些模型通常具有庞大的参数数量，能够处理复杂的任 务，如自然语言理解、图像识别、语音识别等。 闭源大模型包括 OpenAI 的 GPT 系列和 Google 的 BERT。这些模型因其 高效的学习能力和强大的通用性而受到关注。 开源大模型以 Meta 的 Llama 系列，2024 年 4 月，Llama3 发布，包括 8B 和 70B 模型。 图 2，时间线主要根据技术论文的发布日期（例如提交至 arXiv 的缩写，表示万亿。在 AI 大模型 中，”T” 常用来表示模型在训练中处理的 Token 数量。Token 是指模型处理的 基本单元，可以是一个单词、子词，或者字符等。 在大规模预训练语言模型的训练中，通常会提到模型是在多少个 Token 上 进行学习的，以表明模型的训练规模和数据量。例如：LLaMA3 语言模型使用 了超过 15T 个 token 进行训练。 2 AI 工具梳理 大家有没有觉得 AI 工