处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。通过数据向量化，实现了 在向量数据库中进行高效的相似性计算和查询。 根据向量数据库的的实现方式,可以将向量数据库大致分为两类： 原生的向量数据库专门为存储和检索向量而设计，

对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 2、撰写python脚本； 据采集结果为空。 DeepSeek R1 能够提取所有网址并进行 筛选、去重，所撰写代码 运行后完成数据爬虫任务， 所获取数据准确，少量数 据有所遗漏。 提示词 测试结果受到数据样本、测试环境、AI抽卡、提示词模板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 爬虫数据采集  目前DeepSeek R1、Open AI o3mini、Kimi k1.5支持联网查询网址，Claude

太初T100加速卡 个⼈开发者原型验证 14B 昆仑芯K200集群 企业级复杂任务推理 32B 壁彻算⼒平台+昇腾910B集群 科研计算与多模态处理 四、云端部署替代⽅案 1. 国内云服务商推荐 平台 核⼼优势 适⽤场景 硅基流动 官⽅推荐API，低延迟，⽀持多模态模型 企业级⾼并发推理 腾讯云 ⼀键部署+限时免费体验，⽀持VPC私有化 中⼩规模模型快速上线 PPIO派欧云 价格仅为OpenAI 价格仅为OpenAI 1/20，注册赠5000万tokens 低成本尝鲜与测试 2. 国际接⼊渠道（需魔法或外企上⽹环境  ） 英伟达NIM：企业级GPU集群部署（链接） Groq：超低延迟推理（链接） 五、完整671B MoE模型部署（Ollama+Unsloth） 1. 量化⽅案与模型选择 量化版本 ⽂件体 积 最低内存+显存需 求 适⽤场景 DeepSeek-R1-UD- IQ1_M IQ1_M 158 GB ≥200 GB 消费级硬件（如Mac Studio） DeepSeek-R1-Q4_K_M 404 GB ≥500 GB ⾼性能服务器/云GPU 下载地址： HuggingFace模型库 Unsloth AI官⽅说明 2. 硬件配置建议 硬件类型 推荐配置 性能表现（短⽂本⽣成） 消费级设备 Mac Studio（192GB统⼀内存） 10+ token/秒

8B 和 70B 模型。 图 2，时间线主要根据技术论文的发布日期（例如提交至 arXiv 的日期）来 确定大型语言模型（大小超过 10B）的发展历程。如果没有相应的论文，我们 将模型的日期设定为其公开发布或宣布的最早时间。我们用黄色标记那些公开 可用的模型检查点。由于空间限制，我们只包括那些公开报道评估结果的大型 语言模型。 Figure 2: 各个大型语言模型发布时间线 5 1.4 基础概念 工具，分别包括：问答，图像，视频，AI 编程，AI 提 示词和 AI 大模型，一共梳理挑选共计 38 个 AI 工具，其中很多都是开源！ 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型，它基于 GPT（Generative Pre-trained Transformer）架构。这种模型通过分析大量的文本数据来学习语 言结构和信息，使其能够生成连贯的文本、回答问题、撰写文章、进行对话等。 场景中提 供辅助，包括聊天机器人、写作辅助、信息查询等。 2.1.2 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型，它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问（Qwen）是阿里云开发的一系列预训练的大型语言模型，用于聊天、 生成内容、提取信息、总结、翻译、编码、解决数学问题等多种任务。这些模型 在多种语言数据上

慢思考能力 传统软件是辅助人的工具，Agent是能够自主工作的数字员工，是新的生产力政企、创业者必读 22 DeepSeek出现之前的十大预判 之九 开源效果追赶上闭源  技术开放，吸引广大开发人员和用户使用  很多公司参与开源，帮助改进产品，众人拾柴火焰高， 反哺开源产品，形成正循环政企、创业者必读 DeepSeek出现之前的十大预判 之十 中美差距快速缩小  美国预训练堆算 ——掀起新一轮AI科普教育 认知决定行动，这场全民AI科普对推动中国AI发展功不可没政企、创业者必读 开源改变行业格局，建立强大生态  开源战胜闭源，促使全球公司、开发者等转到开源  建立强大生态，成为全球人工智能根技术，无推广情况下各国 政府、企业、云厂商纷纷接入，获得全球最大影响力  改变中美竞争格局：美国是闭源封闭垄断思路，中国领导开源 文化，加速中国领先地位  中国人民使用的AI工具先进性已超过美国，普及率超过美国， 因为开源透明可信任，企业和 政府可做大量私有化部署  一个开源产品获得突破之后，全世界都能分享成果，结束中国百模大 战，节省大量成本  很多公司参与开源，帮助改进产品，很多人基于DS生态开发应用产 品，增加影响力，人人为我，我为人人  技术开放，对人工智能行业形成蓬勃发展，寒武纪大爆炸，推动AGI 行业发展 DeepSeek颠覆式创新——开源 34政企、创业者必读 成本的急剧降低

DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库，提高效率和一致性 开发提示语策略，应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素 预测可能的误解和边界情况 抽象化能力 识别通用模式，提高提示语可复用性 表达型（Expressive） 宣告型（Declarative） 主题聚焦机制（TFM）：锁定核心内容 �TFM的理论基础： TFM借鉴了认知语言学中的“原型理论”和“框架语义 学”，可开发以下技巧： �TFM实施步骤： 1. 定义主题原型：列出主题的关键特征和代表性例子 2. 构建语义框架：创建与主题相关的概念图 3. 设置重点梯度：按重要性排序相关概念和子主题 4. 创建

DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库，提高效率和一致性 开发提示语策略，应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素 预测可能的误解和边界情况 抽象化能力 识别通用模式，提高提示语可复用性 表达型（Expressive） 宣告型（Declarative） 主题聚焦机制（TFM）：锁定核心内容 �TFM的理论基础： TFM借鉴了认知语言学中的“原型理论”和“框架语义 学”，可开发以下技巧： �TFM实施步骤： 1. 定义主题原型：列出主题的关键特征和代表性例子 2. 构建语义框架：创建与主题相关的概念图 3. 设置重点梯度：按重要性排序相关概念和子主题 4. 创建

产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 准。 5. 可持续标准。规范人工智能影响环境的技术框架、方法 和指标，平衡产业发展与环境保护，包括促进生态可持续的人工 智能软件开源基础框架，人工智能系统能效评价，人工智能与资 7 源利用、碳排放、废弃部件处置等标准。 （二）基础支撑标准 基础支撑标准主要包括基础数据服务、智能芯片、智能传感 器、计算设备、算力中心、系统软件、开发框架、软硬件协同等 标准。 1. 基础数据服务标准。规范人工智能研发、测试、应用等 软件 运行时库及调试工具、人工智能软硬件平台计算性能等标准。 7. 开发框架标准。规范人工智能开发框架相关的技术要求， 包括开发框架的功能要求，与应用系统之间的接口协议、神经网 络模型表达和压缩等标准。 8. 软硬件协同标准。规范智能芯片、计算设备等硬件与系 统软件、开发框架等软件之间的适配要求，包括智能芯片与开发 框架的适配要求、人工智能计算任务调度、分布式计算等软硬件 协同任务的交互协议、执行效率和协同性能等标准。

可定制化与优化。支持微调（Fine-tuning）：可以根据特定业务需求对模 型进行微调，以适应特定任务，如行业术语、企业内部知识库等。 3. 离线运行，适用于无网络环境。可在离线环境下运行：适用于无互联网 连接或网络受限的场景。提高系统稳定性：即使云服务宕机，本地大模型依 然可以正常工作，不受外部因素影响。 本教程搭建 DeepSeek 好处 本地搭建 DeepSeek 三个比较实际的好处： •

………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 ……………………… 14 6 应用场景，提出通过安全软件开发、数据质量提升、安全建设运维、测评监测 加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性- 3 - 人工智能安全治理框架 的措施。 2.3 综合治理措施方面。明确技术研发机构、服务提供者、用户、政府 部门、行业协会、社会组织等各方发现、防范、应对人工智能安全风险的措施 手段，推动各方协同共治。 2.4 安全开发应用指引方面。明确模型算法研发者、服务提供者、重点 安全开发应用指引方面。明确模型算法研发者、服务提供者、重点 领域用户和社会公众用户，开发应用人工智能技术的若干安全指导规范。 3. 人工智能安全风险分类 人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期 各环节都面临安全风险，既面临自身技术缺陷、不足带来的风险，也面临不当 使用、滥用甚至恶意利用带来的安全风险。 3.1 人工智能内生安全风险 3.1.1 模型算法安全风险 （a）可解释性差的风险。以深度学习为代表的人工智能算法内部运行逻