LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32

krita中复现 sai的图层混合模式 希望这篇可以帮助从 sai 转到 krita 的用户，以及其他想要使用 sai 图层混合模式的 krita 用户。 （下面出现的 sai 图层混合模式基于 sai2 2020-05-10中文版，之后版本会不会新增图层混合模式就不知 道了） 发光 推测 在 sai2 2020-05-10版中如果有个图层使用了“发光”图层混合模式在保存为 PSD，然后用 PS 中使用“发光”的图层变成了“线性减淡（添加）”。 sai→ps 甚至图层名后面还有个奇怪的图标，那个图标是去掉混合选项中“透明形状图层”的勾选后才会出现的。 据以上可得 sai 的“发光”图层混合模式=ps 的“线性减淡（添加）”图层混合模式去掉混合选项里“透明形状图 层”的勾选。 然后对着 krita 里的图层右键-图层样式-会发现混合选项尚未实现，这意味着没法直接复现…… 不过没关系，可以稍微绕一下来复现 1、根 官网关于“线性减淡（添加）”图层混合模式的说明 https://helpx.adobe.com/cn/photoshop/using/blending-modes.html 线性减淡（添加） 查看每个通道中的颜色信息，并通过增加亮度使基色变亮以反映混合色。与黑色混合则不发生变化。 据此两条可得，在黑色图层上绘画就等于去掉“透明形状图层”勾选，并且黑色不会影响“线性减淡 （添加）”图层混合模式。 sai 的“发光”图层混合模式=ps

krita中复现 csp的图层混合模式 希望这篇可以帮助从 csp 转到 krita 的用户，以及其他想要使用 csp 图层混合模式的 krita 用户。 （下面出现的 csp 图层混合模式基于 csp 1.9.11 中文版，之后版本会不会新增图层混合模式就不知道 了） 颜色减淡（发光） 推测 在 csp 1.9.11 版中如果有个图层使用了“颜色减淡（发光）”图层混合模式在保存为 PSD，然后用 中使用“颜色减淡（发光）”的图层变成了“颜色减淡”。 csp→ps 甚至图层名后面还有个奇怪的图标，那个图标是去掉混合选项中“透明形状图层”的勾选后才会出现的。 据以上可得 csp 的“颜色减淡（发光）”图层混合模式=ps 的“颜色减淡”图层混合模式去掉混合选项里“透明形状 图层”的勾选。 然后对着 krita 里的图层右键-图层样式-会发现混合选项尚未实现，这意味着没法直接复现…… 不过没关系，可以稍微绕一下来复现 1、 官网关于“颜色减淡”图层混合模式的说明 https://helpx.adobe.com/cn/photoshop/using/blending-modes.html 颜色减淡 查看每个通道中的颜色信息，并通过减小二者之间的对比度使基色变亮以反映出混合色。与黑色混合则 不发生变化。 据此两条可得，在黑色图层上绘画就等于去掉“透明形状图层”勾选，并且黑色不会影响“颜色减淡” 图层混合模式。 csp 的“颜色减淡（发光）”图层混合模式=ps

本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 5支持联网查询网址，Claude 3.5 sonnet暂不支持；  四个模型均能根据上传的网页代码，对多个网址链接进行筛选、去重，完全提取出符合指令要求的所有网址链接并形成列表；  在复杂爬虫任务上，DeepSeek R1与Open AI o3min生成的代码均能正常执行数据采集任务，o3响应速度更快，R1数据采集结果更加完 整准确；其他2个模型都存在多次调试但代码仍然运行不成功的问题，如代码中罗列URL不全、输出文本中提取数据为空等。

男，441,82% 女 ,96,18％ 14 注：问卷篇中饼图的数据标签，例如“硕士 ,107,20%”，其中硕士表 示选项，107 是选择该选项的人数，20% 是选择该选项人数所占的比例。 专家点评 堵俊平：整体而言，在开源领域，男性在参与人数上仍然占据绝对优势，这一点和 IT 行业整体参与者性别比 例失调的趋势是一致的。尽管越来越多的开源项目都在争取吸引更多的女性开发者大力来参与开源，但整体 受访者从业时间 受访者中还未参加工作的人数最多，占比约 43%，其次则是从业时 间为 3-5 年、10-15 年的参与者占比分别为 13%、12%，从业时 间在 10 年以上的约 3 成。 专家点评 郭悦：开源参与中 43% 还未参与工作的学生群体占比最大，这证实了近两年我国开源文化推广成果，能反 映出开源项目的推广已下沉影响到学生群体。不论是 gitee 开源暑期活动、中科院开源软件点亮计划以及 受访者职位分布 受访者中学生和开发者占绝大多数，学生占比约 47%，开发者占比 约 29%。 专家点评 堵俊平：参加开源项目的开发者有超过四成是学生。这一方面说明高校学生参与开源的热情高涨，学校里老师 们也鼓励和重视开源；另一方面，也说明现有的 IT 从业人员在开源领域投入的比例偏小。开源领域资深专家 的比例偏低，技术人员梯度不够合理，也是国内各大开源社区在吸引贡献者方面，可以优化的地方。

number of people who chose that option, and 20% is the proportion of people who chose that option. 【专家点评】/ [Expert Comment] 堵俊平：整体而言，在开源领域，男性在参与人数上仍然占据绝对优势，这一点和 IT 行 业整体参与者性别比例失调的趋势是一致的。尽管越来越多的开源项目都在争取吸引更多 been working for more than ten years. 【专家点评】/ [Expert Comment] 郭悦：开源参与中 43%还未参与工作的学生群体占比最大，这证实了近两年我国开源文化 推广成果，能反映出开源项目的推广已下沉影响到学生群体。不论是 gitee students and 29% developers. 【专家点评】/ [Expert Comment] 堵俊平：参加开源项目的开发者有超过四成是学生。这一方面说明高校学生参与开源的热 情高涨，学校里老师们也鼓励和重视开源；另一方面，也说明现有的 IT 从业人员在开源 领域投入的比例偏小。开源领域资深专家的比例偏低，技术人员梯度不够合理，也是国内 各大开源社区在吸引贡献者方面，可以优化的地方。

DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 当人人都会用AI时，你如何用得更好更出彩？ 推理模型 • 例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务

DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 当人人都会用AI时，你如何用得更好更出彩？ 推理模型 • 例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务

观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 高瞻，Gitee AI 运营 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111

1 1 /*使用电脑阅读，获得最佳体验 1 1 序 毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横 空出世，标志着对话式 LLM 开始进入公众视野，为人们 提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新 Google 紧随其后推出 Bard，作为其首次亮相的对话 LLM 产品，无疑具有其里程碑意义，尽管它的首秀并不尽 如人意，车翻了又翻。 三、 Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM 在语言理解和多模态处理能力方面的探索，甚至 Claude 2 还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的 Llama 2 更成为了 LLM 领域开源势力的典型代表，它的 广大的个人用户和创意行业提供了强有力的工具，彻底改变 了数字艺术内容的创作方式。同时，它们也引发了人工智能 在创作领域的伦理和法律讨论。LLM 杀进多媒体领域。往 后 DALL-E 3 模型升级、Adobe 产品整合 LLM 能力、 语音模型 whisper-3 更新、AI 虚拟主播创造等，都是在 这条路上的进一步发展。 五、 AI 编程方面，Copilot 可以根据开发者的代码提示自动补 全代码，大大