LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32

DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 当人人都会用AI时，你如何用得更好更出彩？ 推理模型 • 例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务

DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 当人人都会用AI时，你如何用得更好更出彩？ 推理模型 • 例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务

尖峰开源技术创新奖（基于社区版本二次开发） 获得2019 CTDC 年度优秀微服务创新产品 产品荣誉 无侵入微服务治理 无侵入式接入，提供注册发现、路由分 流、熔断限流等丰富治理能力。 精细化流量管控 支持不同维度的流量治理，并具备丰富 的流量管控能力。 架构平滑演进 支持单体架构向微服务架构、微服务架 构向服务网格架构平滑演进。 开放兼容 全面覆盖主流微服务开发技术选型，增 PRODUCT 基于可视化编程语言 基于通用语言封装的可视化开发语言，具 备完善的静态类型系统和组件扩展机 制，适合 80% 企业级应用开发，灵活性 高，可靠性强。 数据模型驱动 可视化构建实体、数据结构、枚举等低 代码数据模型，自动生成数据库表和页 面交互。 支持企业集成 能够通过 API 集成企业内部的服务，实 现应用组装。 业务与流程融合 流程引擎基于 BPMN2.0 规范，可视化 数仓设计中心 指标设计 模型设计 数据治理中心 数据质量 数据地图 数据资产 数据标准 UDF管理 任务开发 版本管理 任务运维 资源管理 任务上线 数据服务中心 智能BI 数据准备 大屏 自助取数 移动应用 数据填报 全渠道 数据融合 会员 标签管理 用户分群 营销 活动管理 投放数据 追踪 活动数据 分析 特征治理 模型管理 交互式建模 可视化建模

观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 高瞻，Gitee AI 运营 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111

• DeepSeek是一家专注通用人工智能(AGI)的中国科技公司，主攻大模型研发与应用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAl-o1正式版。 Dataset），这个数据集 是一个著名的问答数据集，基于维基百科数据生成，并且数 据是2020年之前的。 AI幻觉问题抽取：多数据集 问题加载 探讨大语言模型（LLMs）在模拟人类意见动态和社 会现象（如极化和错误信息传播）中的表现，特别 是引入偏误信息后的意见动态变化。使用大模型模 拟多个虚拟代理，讨论“气候变暖”、“转基因食 品的安全性”和“疫苗的有效性和安全性”三个具 有科学共识的话题。 实验一在无偏误信息条件下，代理通过社交网络进 引入专业资源：如需要，可以寻求律师或家庭顾问的帮助，确保遗产分配的合法性和 公正性。 提示语策略差异 1 推理模型 2 通用模型 • 提示语更简洁， 只需明确任务目标和 需求（因其已内化推理逻辑） 。 • 无需逐步指导， 模型自动生成结构化 推理过程（若强行拆解步骤， 反而可 能限制其能力） 。 • 需显式引导推理步骤（如通过CoT提

www.iresearch.com.cn 来源：艾瑞咨询研究院自主研究及绘制。 企业的开源商业模型（一） 软件开源为企业带来直接收益、渠道收益、行业生态收益 从商业成功的角度上看，企业发布开源软件能够为自身带来直接商业化收益、渠道收益和市场影响力提升带来的产业协同 收益。其中，直接商业化收益 开 源运营，而开源运营的核心是通过不断提升用户和贡献者的数量来构建“质”和“量”互相驱动和促进的良性循环。如果 没有成功的开源运营，软件开源就无法产生显著的商业化效果。 企业实施软件开源战略的商业模型 企业之内 企业之外 软件开源 用户增长 加速创新 产品升级 提供付费订阅版本 提供专业配套服务 引流产生广告收入 直接 商业化 渠道化 为互补产品宣传、导流 提升企业市场声量 cn 来源：艾瑞咨询研究院自主研究及绘制。 企业的开源商业模型（二） 就市场推广而言，软件开源通常能更快实现用户触达 建立在企业进行开源软件运营的基础上，开源对企业的商业价值通常通过“引流”来实现，在某种意义上，这可以类比为 一些2C的软件“先免费，再收费”或“免费软件+付费服务”的业务模式。如果我们以软件产业商务拓展的双漏斗模型来 衡量开源战略的商务价值，对比常规的闭源商业软件业务模式，开

（NaN），⽬的是进⼀步运营和发展Blender。NaN的核⼼⽬标是创建发⾏⼀款 紧凑且跨平台的免费3D创作套件。这⼀想法在⼤多数商业建模软件都要卖上 千美元的当时是⾰命性的。NaN希望将专业3D建模和动画⼯具带给⼀般⼈，其 商业模型包括了提供Blender周边的商业产品和服务。1999年NaN为了推⼴ Blender⽽第⼀次参加了Siggraph⼤会。Blender的第⼀次Siggraph之旅获得了巨 ⼤成功，受到了媒体和出席 Python编辑改进。此次发布包含 Apricot 项⽬ 的成果。 2.49 -- 2009年6⽉: 基于节点的纹理、⾻架草图 （又称作Etch-a-Ton)、 布尔⽹格操作改进、 JPEG2000 ⽀持、针对图像直接传⼊模型的投影绘制、和Python 脚本分类。 游戏引擎的增强功能包括视频纹理（可以在游戏中播放视频），升级到 bullet的物理引擎，圆顶 (鱼眼） 渲染，并提供更多可⽤的 API 游戏引擎调 ⽤。 Blender 输⼊）不同。操作项可以从 操作按钮 , 标题栏菜单 , 或 菜单搜索 启动。 "操作 项" 的例⼦包括添加⼀个新的对象，删除它，或将其阴影设置为平滑。 操作属性 ⼤多数运算符都有可以调整的属性，以细化其结果。⾸先运⾏ "操作项" （将 使⽤其默认设置），然后调整 调整上⼀步操作 区域中的属性。 模态 "操作项` 模态操作符作为⼀个概念存在于 ⼯具 和常规操作符之间。它们需要某种交互 式的输⼊。

（NaN），⽬的是进⼀步运营和发展Blender。NaN的核⼼⽬标是创建发⾏⼀款 紧凑且跨平台的免费3D创作套件。这⼀想法在⼤多数商业建模软件都要卖上 千美元的当时是⾰命性的。NaN希望将专业3D建模和动画⼯具带给⼀般⼈，其 商业模型包括了提供Blender周边的商业产品和服务。1999年NaN为了推⼴ Blender⽽第⼀次参加了Siggraph⼤会。Blender的第⼀次Siggraph之旅获得了巨 ⼤成功，受到了媒体和出席 Python编辑改进。此次发布包含 Apricot 项⽬ 的成果。 2.49 -- 2009年6⽉: 基于节点的纹理、⾻架草图 （又称作Etch-a-Ton)、 布尔⽹格操作改进、 JPEG2000 ⽀持、针对图像直接传⼊模型的投影绘制、和Python 脚本分类。 游戏引擎的增强功能包括视频纹理（可以在游戏中播放视频），升级到 bullet的物理引擎，圆顶 (鱼眼） 渲染，并提供更多可⽤的 API 游戏引擎调 ⽤。 Blender 输⼊）不同。操作项可以从 操作按钮 , 标题栏菜单 , 或 菜单搜索 启动。 "操作 项" 的例⼦包括添加⼀个新的对象，删除它，或将其阴影设置为平滑。 操作属性 ⼤多数运算符都有可以调整的属性，以细化其结果。⾸先运⾏ "操作项" （将 使⽤其默认设置），然后调整 调整上⼀步操作 区域中的属性。 模态 "操作项` 模态操作符作为⼀个概念存在于 ⼯具 和常规操作符之间。它们需要某种交互 式的输⼊。

（NaN），⽬的是进⼀步运营和发展Blender。NaN的核⼼⽬标是创建发⾏⼀款 紧凑且跨平台的免费3D创作套件。这⼀想法在⼤多数商业建模软件都要卖上 千美元的当时是⾰命性的。NaN希望将专业3D建模和动画⼯具带给⼀般⼈，其 商业模型包括了提供Blender周边的商业产品和服务。1999年NaN为了推⼴ Blender⽽第⼀次参加了Siggraph⼤会。Blender的第⼀次Siggraph之旅获得了巨 ⼤成功，受到了媒体和出席 Python编辑改进。此次发布包含 Apricot 项⽬ 的成果。 2.49 -- 2009年6⽉: 基于节点的纹理、⾻架草图（又称作Etch-a-Ton）、 布尔⽹格操作改进、 JPEG2000 ⽀持、针对图像直接传⼊模型的投影绘制，和Python 脚本分 类。游戏引擎的增强功能包括视频纹理（可以在游戏中播放视频），升级 到bullet的物理引擎，圆顶（鱼眼）渲染，并提供更多可⽤的 API 游戏引 擎调⽤。 Blender include adding a new object, deleting it, or setting its shading to smooth. 操作属性 ⼤多数操作项都有可以调整的属性，以细化其结果。⾸先运⾏操作项（将使⽤ 其默认设置），然后调整 调整上⼀步操作 区域中的属性。 模态操作 模态操作作为⼀个概念存在于 ⼯具 和常规操作之间。它们需要某种交互式的 输⼊。 可以⽤ LMB