为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示： 个⼈⽤户：不建议部署32B及以上模型，硬件成本极⾼且运维复杂。 企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 模型参 数 Windows 配置要求 Mac 配置要求 适⽤场景 1.5B RAM: 4GB - GPU: 集成显卡/现代CPU - 存储: 5GB - 内存: 8GB （M1/M2/M3） - 存储: 5GB 简单⽂本⽣成、基础代 码补全 7B - RAM: 8-10GB - GPU: GTX 1680（4-bit量 化） - 存储: 8GB - 内存: 16GB（M2 Pro/M3） - 存储: 8GB 中等复杂度问答、代码 调试 14B - - RAM: 24GB - GPU: RTX 3090（24GB VRAM） - 存储: 20GB - 内存: 32GB（M3 Max） - 存储: 20GB 复杂推理、技术⽂档⽣ 成 32B+ 企业级部署（需多卡并联） 暂不⽀持 科研计算、⼤规模数据 处理 2. 算⼒需求分析 模型 参数规 模 计算精 度 最低显存需 求 最低算⼒需求 DeepSeek-R1 (671B)

. . . . . 27 5.2 docker 下载 MaxKB . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.3 docker 配置 MaxKB . . . . . . . . . . . . . . . . . . . . . . . . . 29 5.4 打开 MaxKB 网页 . . . . . . . . . . . . . . . . . . . . 32 5.5 构建第一个私人知识库 . . . . . . . . . . . . . . . . . . . . . . . . 34 5.6 MaxKB 配置本地 llama3 . . . . . . . . . . . . . . . . . . . . . . 37 5.7 创建知识库应用 . . . . . . . . . . . . . . . 镜像（Image）：用于创建容器的只读模板。一个镜像可以包含完整的操作 系统环境。 3. Dockerfile：定义镜像内容的文本文件，包含了构建镜像的所有指令。 4. Docker Hub：公共的 Docker 镜像仓库，用于存储和分发 Docker 镜像。 5. 拉取镜像：docker pull 6. 构建镜像：在包含 Dockerfile 目录中运行：docker build -t

解码加速推理。MTP在特定场景下同 时预测多个令牌，提高信号密度，减 少上下文漂移和逻辑连贯性问题。 多令牌预测（MTP） 采用FP8混合精度训练，通过在训练 过程中使用更适宜的数据精度，减少 了计算量和存储需求。FP8混合精度 训练在保证训练准确性的基础上，显 著降低了计算成本，使得大规模模型 训练更加可行。 FP8混合精度训练 • 推 理 效 率 提 升 ： 蒸 馏 后 的 模 型 参 数 量 大 尤其是在端侧和端云协同场景。通过合理的 硬件配置和优化策略，DeepSeek可以在本地环境中高效运行，为用户提供强大的AI支持。 DeepSeek 在端侧部署中展现出较强的适应性和灵活性。 模型轻量化 DeepSeek通过蒸馏技术优化小模 型（1.5B/7B/8B/14B/32B/70B 参数规模），使其在本地部署中表 现出色，适合存储和计算资源有限 的端侧设备。 实时性 在端侧设备上，DeepSeek com/s/1pyaygXqFXvRe-In7gn5gOA?pwd=fn7s 提取码: fn7s  团队自测案例 2 1 3 4 自动化处理财务报表，挖掘隐藏的投资机会， 评估潜在风险，优化资产配置策略。 数据分析 DeepResearch整合全球金融市 场动态，实时追踪行业趋势，为 投资者提供深度分析。 市场洞察 运用先进算法预测市场走势，辅助金融机 构和个人投资者做出更明智的选择。

（b）在设计、研发、部署、维护过程中建立并实施安全开发规范，尽可 能消除模型算法存在的安全缺陷、歧视性倾向，提高鲁棒性。 4.1.2 数据安全风险应对 （a） 在训练数据和用户交互数据的收集、存储、使用、加工、传输、提 供、公开、删除等各环节，应遵循数据收集使用、个人信息处理的安全规则， 严格落实关于用户控制权、知情权、选择权等法律法规明确的合法权益。 （b） 加强知识产权保护，在训练数据选择、结果输出等环节防止侵犯知 保数据来源清晰、途径合规。建立完善的数据安全管理制度，确保数据安全性 和质量，以及合规使用，防范数据泄露、流失、扩散等风险，人工智能产品终 止下线时妥善处理用户数据。 （c）研发者应确保模型算法训练环境的安全性，包括网络安全配置和数 据加密措施等。 （d）研发者应评估模型算法潜在偏见，加强训练数据内容和质量的抽查 检测，设计有效、可靠的对齐算法，确保价值观风险、伦理风险等可控。 （e）研发者应结合目标市场适用法律要求和风险管理要求，评估人工智

接，以设计一 个创新的知识共享平台。 （1）输入概念： • 社交媒体：即时性、互动性、个性化、病毒传播 • 传统图书馆：知识储备、系统分类、安静学习、专业指导 （2）共同特征： • 信息存储和检索 • 用户群体链接 • 知识分享 （3）融合点： • 实时知识互动 • 知识深度社交网络 • 数字化图书馆员服务 • 个性化学习路径 输入空间定义 明确要融合的两个或多个概念领域 策略： 应用示例 �话题选择原则 • 与内容高相关性 • 活跃度适中的话题 • 避免过度竞争的热门话题 �标签使用策略 • 核心话题前置 • 相关话题补充 • 品牌话题植入 话题配置要求： 主话题：[话题名称] 相关话题：2—3个 位置要求： - 主话题在开头 - 相关话题在正文 - 品牌话题在结尾 选择标准： - 话题活跃度[范围] - 竞争度评估 - 相关性判断 设计反直觉表达 传播策略： - 话题标签选择 - 关键意见领袖互动设计 - 评论引导策略 应用示例 �内容节奏 • 发布频率：依据账号定位和粉 丝活跃度设定 • 内容分类：不同类型内容的比 例配置 • 互动时间：明确重点互动的时 间段 请帮我制定微博账号的内容排期 规划： 账号信息： - 定位：[填写账号定位] - 目标受众：[受众属性] - 当前粉丝量：[数量]

接，以设计一 个创新的知识共享平台。 （1）输入概念： • 社交媒体：即时性、互动性、个性化、病毒传播 • 传统图书馆：知识储备、系统分类、安静学习、专业指导 （2）共同特征： • 信息存储和检索 • 用户群体链接 • 知识分享 （3）融合点： • 实时知识互动 • 知识深度社交网络 • 数字化图书馆员服务 • 个性化学习路径 输入空间定义 明确要融合的两个或多个概念领域 策略： 应用示例 �话题选择原则 • 与内容高相关性 • 活跃度适中的话题 • 避免过度竞争的热门话题 �标签使用策略 • 核心话题前置 • 相关话题补充 • 品牌话题植入 话题配置要求： 主话题：[话题名称] 相关话题：2—3个 位置要求： - 主话题在开头 - 相关话题在正文 - 品牌话题在结尾 选择标准： - 话题活跃度[范围] - 竞争度评估 - 相关性判断 设计反直觉表达 传播策略： - 话题标签选择 - 关键意见领袖互动设计 - 评论引导策略 应用示例 �内容节奏 • 发布频率：依据账号定位和粉 丝活跃度设定 • 内容分类：不同类型内容的比 例配置 • 互动时间：明确重点互动的时 间段 请帮我制定微博账号的内容排期 规划： 账号信息： - 定位：[填写账号定位] - 目标受众：[受众属性] - 当前粉丝量：[数量]

为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 数据库，它可以为 LLM 提供高效的存储和检索能力。通过数据向量化，实现了 在向量数据库中进行高效的相似性计算和查询。 根据向量数据库的的实现方式,可以将向量数据库大致分为两类： 原生的向量数据库专门为存储和检索向量而设计， 所管理的数据是基于对象或数据点的向量表示进行 组织和索引。 包括 等均属于原生向量数据库。 除了选择专业的向量数据库，对传统数据库添加 “向量支持”也是主流方案。比如 相比前边的大模型框架和微调，一言以蔽之： 、 11 / 32 LLM 基础设施：大模型训练平台与工具 大模型训练平台与工具根据其性质不同，可分为以下几类： 这些平台提供了从模型开发到部署的综合解决方案，包括计算资源、 数据存储、模型训练和部署服务。它们通常提供易于使用的界面，支 持快速迭代和大规模部署。Amazon SageMaker、Google Cloud AI Platform 和 Microsoft Azure

口协议和测试方法，及使能软件的访问协议、功能、性能、能效 的测试方法和运行维护要求等标准。 5. 算力中心标准。规范面向人工智能的大规模计算集群、 新型数据中心、智算中心、基础网络通信、算力网络、数据存储 8 等基础设施的技术要求和评估方法，包括基础设施参考架构、计 算能力评估、技术要求、稳定性要求和业务服务接口等标准。 6. 系统软件标准。规范人工智能系统层的软硬件技术要求， 包括软硬件 模型表达和格式、模型效果评价等，包括自监督学习、无监督学 习、半监督学习、深度学习、强化学习等标准。 2. 知识图谱标准。规范知识图谱的描述、构建、运维、共 享、管理和应用，包括知识表示与建模、知识获取与存储、知识 融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、 9 知识图谱交付与应用、知识图谱系统架构与性能要求等标准。 3. 大模型标准。规范大模型训练、推理、部署等环节的技 术要

据列表形式 呈现。” 关键技巧： p 数据嫁接：若缺乏具体数据，直接让AI生成合理虚构值（标注“示例”规避风险）： p “假设园区占地500亩，日均处理包裹量50万件，请计算自动化分拣设备的配置数量，用表格展示。” p 模板复制：对同类章节（如3.1/3.2/3.3）使用相同指令模板，仅替换关键词。 p 强制格式：要求AI输出带编号小标题、分点、表格的内容，直接粘贴后即显“专业感”。 场景1：1小时内写完一个1万字的项目书 第四阶段：10分钟——用AI优化与格式伪装 p统一话术： “将以下段落改写成政府报告风格，加入‘数字化转型’‘双碳战略’等关键词：{粘贴原文}” p生成图表： 指令：“将上文‘设备配置表’转换成LaTeX格式的三线表。”插入图表后，自动增加方案“厚度”。 p最终润色： “检查以下方案书逻辑漏洞，列出3个可能被客户质疑的点，并给出应对答案。” p关键提醒： ü 保命优先级：

DeepSeek 三个比较实际的好处： • 本教程接入的是 DeepSeek 推理模型 R1，开源免费，性能强劲 • 本教程搭建方法 零成本，不需花一分钱。 • 为了照顾到大部分读者，推荐的搭建方法已将电脑配置要求降 到最低，普通电脑也能飞速运行。 1.2 DeepSeek 本地部署三个步骤 一共只需要三步，就能做到 DeepSeek 在本地运行并与它对话。 第一步，使用的是 ollama 管理各种不同大模型，ollama