为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 数据库，它可以为 LLM 提供高效的存储和检索能力。通过数据向量化，实现了 在向量数据库中进行高效的相似性计算和查询。 根据向量数据库的的实现方式,可以将向量数据库大致分为两类： 原生的向量数据库专门为存储和检索向量而设计， 所管理的数据是基于对象或数据点的向量表示进行 组织和索引。 包括 等均属于原生向量数据库。 除了选择专业的向量数据库，对传统数据库添加 “向量支持”也是主流方案。比如 相比前边的大模型框架和微调，一言以蔽之： 、 11 / 32 LLM 基础设施：大模型训练平台与工具 大模型训练平台与工具根据其性质不同，可分为以下几类： 这些平台提供了从模型开发到部署的综合解决方案，包括计算资源、 数据存储、模型训练和部署服务。它们通常提供易于使用的界面，支 持快速迭代和大规模部署。Amazon SageMaker、Google Cloud AI Platform 和 Microsoft Azure

RAM: 4GB - GPU: 集成显卡/现代CPU - 存储: 5GB - 内存: 8GB （M1/M2/M3） - 存储: 5GB 简单⽂本⽣成、基础代 码补全 7B - RAM: 8-10GB - GPU: GTX 1680（4-bit量 化） - 存储: 8GB - 内存: 16GB（M2 Pro/M3） - 存储: 8GB 中等复杂度问答、代码 调试 14B - - RAM: 24GB - GPU: RTX 3090（24GB VRAM） - 存储: 20GB - 内存: 32GB（M3 Max） - 存储: 20GB 复杂推理、技术⽂档⽣ 成 32B+ 企业级部署（需多卡并联） 暂不⽀持 科研计算、⼤规模数据 处理 2. 算⼒需求分析 模型 参数规 模 计算精 度 最低显存需 求 最低算⼒需求 DeepSeek-R1 (671B)

解码加速推理。MTP在特定场景下同 时预测多个令牌，提高信号密度，减 少上下文漂移和逻辑连贯性问题。 多令牌预测（MTP） 采用FP8混合精度训练，通过在训练 过程中使用更适宜的数据精度，减少 了计算量和存储需求。FP8混合精度 训练在保证训练准确性的基础上，显 著降低了计算成本，使得大规模模型 训练更加可行。 FP8混合精度训练 • 推 理 效 率 提 升 ： 蒸 馏 后 的 模 型 参 数 量 大 DeepSeek 在端侧部署中展现出较强的适应性和灵活性。 模型轻量化 DeepSeek通过蒸馏技术优化小模 型（1.5B/7B/8B/14B/32B/70B 参数规模），使其在本地部署中表 现出色，适合存储和计算资源有限 的端侧设备。 实时性 在端侧设备上，DeepSeek 能够满足实时性要求，例如 在智能家居、自动驾驶等场 景中，推理延迟低至毫秒级。 硬件兼容性 支持英特尔、英伟达等主流硬 企业财务报表 → 财务分析、资 产负债表、利润表等。 行业政策文件 → 政策法规、行 业趋势、监管规定等。 专家报告 → 宏观经济预测、市 场前景分析、行业趋势报告等。 按照行业或主题对数据进 行分类存储，例如：  快速响应能力： 在各种行业需求瞬息万变的情况下， “AI参谋”能够提供即时的数据分 析和决策支持，帮助客户迅速定位 问题并制定解决方案。  自动化处理： 系统通过算法自动识别异常数据、

口协议和测试方法，及使能软件的访问协议、功能、性能、能效 的测试方法和运行维护要求等标准。 5. 算力中心标准。规范面向人工智能的大规模计算集群、 新型数据中心、智算中心、基础网络通信、算力网络、数据存储 8 等基础设施的技术要求和评估方法，包括基础设施参考架构、计 算能力评估、技术要求、稳定性要求和业务服务接口等标准。 6. 系统软件标准。规范人工智能系统层的软硬件技术要求， 包括软硬件 模型表达和格式、模型效果评价等，包括自监督学习、无监督学 习、半监督学习、深度学习、强化学习等标准。 2. 知识图谱标准。规范知识图谱的描述、构建、运维、共 享、管理和应用，包括知识表示与建模、知识获取与存储、知识 融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、 9 知识图谱交付与应用、知识图谱系统架构与性能要求等标准。 3. 大模型标准。规范大模型训练、推理、部署等环节的技 术要

镜像（Image）：用于创建容器的只读模板。一个镜像可以包含完整的操作 系统环境。 3. Dockerfile：定义镜像内容的文本文件，包含了构建镜像的所有指令。 4. Docker Hub：公共的 Docker 镜像仓库，用于存储和分发 Docker 镜像。 5. 拉取镜像：docker pull 6. 构建镜像：在包含 Dockerfile 目录中运行：docker build -t

（b）在设计、研发、部署、维护过程中建立并实施安全开发规范，尽可 能消除模型算法存在的安全缺陷、歧视性倾向，提高鲁棒性。 4.1.2 数据安全风险应对 （a） 在训练数据和用户交互数据的收集、存储、使用、加工、传输、提 供、公开、删除等各环节，应遵循数据收集使用、个人信息处理的安全规则， 严格落实关于用户控制权、知情权、选择权等法律法规明确的合法权益。 （b） 加强知识产权保护，在训练数据选择、结果输出等环节防止侵犯知

接，以设计一 个创新的知识共享平台。 （1）输入概念： • 社交媒体：即时性、互动性、个性化、病毒传播 • 传统图书馆：知识储备、系统分类、安静学习、专业指导 （2）共同特征： • 信息存储和检索 • 用户群体链接 • 知识分享 （3）融合点： • 实时知识互动 • 知识深度社交网络 • 数字化图书馆员服务 • 个性化学习路径 输入空间定义 明确要融合的两个或多个概念领域

接，以设计一 个创新的知识共享平台。 （1）输入概念： • 社交媒体：即时性、互动性、个性化、病毒传播 • 传统图书馆：知识储备、系统分类、安静学习、专业指导 （2）共同特征： • 信息存储和检索 • 用户群体链接 • 知识分享 （3）融合点： • 实时知识互动 • 知识深度社交网络 • 数字化图书馆员服务 • 个性化学习路径 输入空间定义 明确要融合的两个或多个概念领域