生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。通过数据向量化，实现了 在向量数据库中进行高效的相似性计算和查询。 根据向量数据库的的实现方式,可以将向量数据库大致分为两类： 原生的向量数据库专门为存储和检索向量而设计， 所管理的数据是基于对象或数据点的向量表示进行 组织和索引。 包括 等均属于原生向量数据库。 除了选择专业的向量数据库，对传统数据库添加

. . . 25 4.5.1 权限问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 5 零代码本地搭建个人知识库 27 5.1 本地知识库优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.2 docker 下载 MaxKB . . . . . . . . . . . . . 32 5.5 构建第一个私人知识库 . . . . . . . . . . . . . . . . . . . . . . . . 34 5.6 MaxKB 配置本地 llama3 . . . . . . . . . . . . . . . . . . . . . . 37 5.7 创建知识库应用 . . . . . . . . . . . . . . . . AI 编程开发助手，集成在 JetBrains 系列开发工具中，提升编码效率。 9 Figure 6: AI 编程工具 2.4.3 AirOps 用于生成和修改 SQL 语句的工具，旨在简化数据库操作。 2.4.4 ChatDev 面壁智能开发的 AI 智能体开发平台，支持创建和部署智能对话系统。 2.4.5 solo Mozilla 开源项目，提供零代码网站开发功能，易于使用。 2

等基础设施的技术要求和评估方法，包括基础设施参考架构、计 算能力评估、技术要求、稳定性要求和业务服务接口等标准。 6. 系统软件标准。规范人工智能系统层的软硬件技术要求， 包括软硬件编译器架构和优化方法、人工智能算子库、芯片软件 运行时库及调试工具、人工智能软硬件平台计算性能等标准。 7. 开发框架标准。规范人工智能开发框架相关的技术要求， 包括开发框架的功能要求，与应用系统之间的接口协议、神经网 络模型表达和压缩等标准。

Year 3 90% @ Year 23 10/22 4/25 800MM Big Six* USA Technology Company CapEx *Apple, NVIDIA, Microsoft, Alphabet, Amazon (AWS only), & Meta Platforms Source: Capital IQ (3/25), Morgan Stanley 2014 2024 applied effectively, even if it hasn’t yet generated revenue. Source: Microsoft, ‘Governing AI: A Blueprint for the Future,’ Microsoft Report (5/23); Data via Maddison Project & Our World in Data Technology installed based of smartphones & tablets in 2020. Cloud & data center capex includes Google, Amazon, Microsoft, Meta, Alibaba, Apple, IBM, Oracle, Tencent, & Baidu for ten years ending 2022. ‘Tens of billions

沈阳团队博士后 何静 能做什么？ 要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析，常用于问题 are the trends shown in this data? 找趋势 Can you describe the data? 描述数据 Show me the top trends in a visual format. 以视觉形式显示趋势 Can you clean this dataset? 清洗数据 Can you create a heatmap using this data? 创建一个热力图 the graphs more beautiful? 把图美化一下 Can you write a one sentence recap of this data? 快速回顾一下 Create a visual chart, based on this data. 做一个视觉图表 What’s the main takeaway from this dataset? 找出最主要的信息 Can you

完全避免数据上 传至云端，确保敏感信息不被第三方访问。 2. 可定制化与优化。支持微调（Fine-tuning）：可以根据特定业务需求对模 型进行微调，以适应特定任务，如行业术语、企业内部知识库等。 3. 离线运行，适用于无网络环境。可在离线环境下运行：适用于无互联网 连接或网络受限的场景。提高系统稳定性：即使云服务宕机，本地大模型依 然可以正常工作，不受外部因素影响。 本教程搭建 DeepSeek https://www.interconnects.ai/p/deepseek-r1-recipe-for-o1 https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of- experts 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取

innovation, 
 e.g. use (GA/RL/BayesOpt/your favorite ML method) for AutoSchedule 
 Easy shift to C++ when product readyInterpolate with Other Compilers MLIR-TF Function relay::Function TorchScript Open source: ~280 contributors from UW, Berkeley, Cornell, UCLA, Amazon, Huawei, NTT, Facebook, Microsoft, Qualcomm, Alibaba, Intel, … Incubated as Apache TVM recently. Independent governance, allowing

成本：不需要投入千万、上亿资金，少量资金投入就可以 能力：不需要等待下一代AGI面面俱到的能力 响应：响应速度更快，用户体验更好 部署：可以私有化部署，保障政府企业数据安全 训练：不需要从头训练，只需要专业知识库或者微调就可以 人才：大模型训练复杂程度降低，对人才要求也降低 工具：已经有全套工具 走专业化大模型 之路，大模型落 地门槛大幅降低 从原子弹变成 「茶叶蛋」 52政企、创业者必读 基于DeepSeek是打造专业大模型、 带钢卷取温度高精度预报 • 带钢跑偏预测分析 • 掉顶头异常识别 • 热轧管材表面质检 • 钢管识别跟踪 • 铸管外表面缺陷自动检测 • 铸管内壁缺陷自动检测 • 轧钢含油污泥油-水-固三相比例及成分分析 • 坯料库行车智能调度 • (棒材)多维度轧件堆拉关系分析 • 轧钢动态调度算法 • 产品质量在线控制无损检测 • 无缝钢管芯棒表面质检 • 无缝钢管制品芯棒插偏检测 • 冷轧带材精轧机架间钢带异常识别 • 冷轧带材机架间板形异常识别 业务大模型 打造 构建 智能体 基于政府企业场景和专业 知识，利用数据工场、知 识工场、模型工场，训练 业务大模型 DeepSeek基座大模型 59政企、创业者必读 关键基础之一：知识库打造 知识库打造是DeepSeek更懂企业的基础 知识自动汇集，不流失 多模态数据处理和理解 非结构化文档处理和理解 搜索，辅助内部办公和外部客户服务 为业务大模型RAG做准备 内部知识管理

主题标签生成（如新闻分类） 垃圾内容检测 编程与代码相关 代码调试 • 错 误 分 析 与 修 复 建议 • 代 码 性 能 优 化 提 示 技术文档处理 • API文档生成 • 代码库解释与示 例生成 代码生成 • 根 据 需 求 生 成 代 码片段（Python、 JavaScript） • 自 动 补 全 与 注 释 生成 常规绘图 如何使用DeepSeek？ 设计评估标准，量化提示语效果 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库，提高效率和一致性 开发提示语策略，应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素 预测可能的误解和边界情况 逻 辑性和语法正确的形式，但其输出内容可能包含完全 虚构、不准确或与事实不符的信息。 AI幻觉的产生通常是由于模型在缺乏相关信息 的情况下，通过概率性选择生成内容，而非基 于真实世界的知识库或逻辑推理，这使得其输 出不仅难以信赖，且可能误导用户。 形成原因 除AI幻觉这一关键缺陷外，潜在的缺点与局限还包括 可解释性、计算成本、数据偏见、实时更新、数据安 全、个人隐私、恶意输出等。

主题标签生成（如新闻分类） 垃圾内容检测 编程与代码相关 代码调试 • 错 误 分 析 与 修 复 建议 • 代 码 性 能 优 化 提 示 技术文档处理 • API文档生成 • 代码库解释与示 例生成 代码生成 • 根 据 需 求 生 成 代 码片段（Python、 JavaScript） • 自 动 补 全 与 注 释 生成 常规绘图 如何使用DeepSeek？ 设计评估标准，量化提示语效果 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库，提高效率和一致性 开发提示语策略，应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素 预测可能的误解和边界情况 逻 辑性和语法正确的形式，但其输出内容可能包含完全 虚构、不准确或与事实不符的信息。 AI幻觉的产生通常是由于模型在缺乏相关信息 的情况下，通过概率性选择生成内容，而非基 于真实世界的知识库或逻辑推理，这使得其输 出不仅难以信赖，且可能误导用户。 形成原因 除AI幻觉这一关键缺陷外，潜在的缺点与局限还包括 可解释性、计算成本、数据偏见、实时更新、数据安 全、个人隐私、恶意输出等。