模型。本⼿册 为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示： 个⼈⽤户：不建议部署32B及以上模型，硬件成本极⾼且运维复杂。 企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 模型参 数 Windows 配置要求 Mac FP8 ≥890GB 2*XE9680（16*H20 GPU） DeepSeek-R1-Distill- 70B 70B BF16 ≥180GB 4*L20 或 2*H20 GPU 三、国产芯⽚与硬件适配⽅案 1. 国内⽣态合作伙伴动态 企业 适配内容 性能对标（vs NVIDIA） 华为昇 腾 昇腾910B原⽣⽀持R1全系列，提供端到端推理优化 ⽅案 等效A100（FP16） 沐曦 GPU MXN系列⽀持70B模型BF16推理，显存利⽤率提升 30% 等效RTX 3090 海光 DCU 适配V3/R1模型，性能对标NVIDIA A100 等效A100（BF16） 2. 国产硬件推荐配置 模型参数 推荐⽅案 适⽤场景 1.5B 太初T100加速卡 个⼈开发者原型验证 14B 昆仑芯K200集群 企业级复杂任务推理 32B 壁彻算⼒平台+昇腾910B集群 科研计算与多模态处理

智能软件开源基础框架，人工智能系统能效评价，人工智能与资 7 源利用、碳排放、废弃部件处置等标准。 （二）基础支撑标准 基础支撑标准主要包括基础数据服务、智能芯片、智能传感 器、计算设备、算力中心、系统软件、开发框架、软硬件协同等 标准。 1. 基础数据服务标准。规范人工智能研发、测试、应用等 过程中涉及数据服务的要求，包括数据采集、数据标注、数据治 理、数据质量等标准。 2. 智能芯片标准。规范智能芯片相关的通用技术要求，包 系统软件标准。规范人工智能系统层的软硬件技术要求， 包括软硬件编译器架构和优化方法、人工智能算子库、芯片软件 运行时库及调试工具、人工智能软硬件平台计算性能等标准。 7. 开发框架标准。规范人工智能开发框架相关的技术要求， 包括开发框架的功能要求，与应用系统之间的接口协议、神经网 络模型表达和压缩等标准。 8. 软硬件协同标准。规范智能芯片、计算设备等硬件与系 统软件、开发框架等软件之间的适配要求，包括智能芯片与开发 统软件、开发框架等软件之间的适配要求，包括智能芯片与开发 框架的适配要求、人工智能计算任务调度、分布式计算等软硬件 协同任务的交互协议、执行效率和协同性能等标准。 （三）关键技术标准 关键技术标准主要包括机器学习、知识图谱、大模型、自然 语言处理、智能语音、计算机视觉、生物特征识别、人机混合增 强智能、智能体、群体智能、跨媒体智能、具身智能等标准。 1. 机器学习标准。规范机器学习的训练数据、数据预处理、

为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 Tuning) 大模型框架指专门设计用于构建、训练和部署大型机器 学习模型和深度学习模型的软件框架。这些框架提供了 必要的工具和库，使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量，并有效地利用硬件资源。 微调（Fine Tuning）是在大模型框架基础上进行的一个 关键步骤。在模型经过初步的大规模预训练后，微调是 用较小、特定领域的数据集对模型进行后续训练，以使 其更好地适应特定的任务或应用场景。这一步骤使得通 ：大模型开发框架通过提供高 层次的 API 简化了复杂模型的构建过程。这 些 API 抽象掉了许多底层细节，使开发者能 够专注于模型的设计和训练策略。 ：这些框架经过优化，以充分利用 GPU、TPU 等高性能计算硬件，以加速模型 的训练和推理过程。 ：为了处理大型数据集和大规模参 数网络，这些框架通常设计得易于水平扩展， 支持在多个处理器或多个服务器上并行处理。 ：它们提供工具来有效地加 载、处理和迭代大型数据集，这对于训练大

反哺开源产品，形成正循环政企、创业者必读 DeepSeek出现之前的十大预判 之十 中美差距快速缩小  美国预训练堆算力的路线不可持续，有待发现新范式“换道超车”  软件和算法差距并不大，主要差距在工程、硬件等方面 23政企、创业者必读 DeepSeek的出现验证了我们的预判 而DeepSeek的创新更具颠覆性 24政企、创业者必读 DeepSeek是完美的颠覆式创新  技术创新——让过去做不到的事情可以做到 技术开放，对人工智能行业形成蓬勃发展，寒武纪大爆炸，推动AGI 行业发展 DeepSeek颠覆式创新——开源 34政企、创业者必读 成本的急剧降低  DeepSeek可适配国产硬件，促进国产硬件发展  DeepSeek的优化降低对推理硬件的要求，减少推理成本  训练成本降低，堆显卡模式受质疑，探索新思路，算法优化空间大  无需训练自己的基座模型，直接部署在DeepSeek上，不用重复发明轮子  公 自有大模型，实现超能力， 成长为超级个体 DeepSeek六大应用方向之一 人人智能：人人都要用AI 39政企、创业者必读 真正的机会是利用AI把所有的硬件重做一遍 DeepSeek六大应用方向之二 万物智能：所有智能硬件都用AI重做 40政企、创业者必读 DeepSeek六大应用方向之三 数转智改：助力传统产业打造新质生产力 用大模型帮助传统产业、制造业实现“数转智改”，利用AI降本增效

DeepSeek的本地部署与云端计算相结合，实现高效的计算和传 输。例如，其蒸馏模型在端侧SoC（系统级芯片）上的表现，显 著降低了硬件门槛，同时提升了用户体验。 DeepSeek的本地部署在性能上表现出色，能够满足不同应用场景的需求，尤其是在端侧和端云协同场景。通过合理的 硬件配置和优化策略，DeepSeek可以在本地环境中高效运行，为用户提供强大的AI支持。 DeepSeek 在端侧部署中展现出较强的适应性和灵活性。 参数规模），使其在本地部署中表 现出色，适合存储和计算资源有限 的端侧设备。 实时性 在端侧设备上，DeepSeek 能够满足实时性要求，例如 在智能家居、自动驾驶等场 景中，推理延迟低至毫秒级。 硬件兼容性 支持英特尔、英伟达等主流硬 件 平 台 ， 并 可 通 过 AnythingLLM和Ollama等工 具实现PC本地部署，保护数 据隐私的同时满足定制化需求。 离线能力 DeepSeek 一步提升推理能力、优化语言理解和生成效果，并拓展在复 杂任务中的应用边界；同时，将深耕垂直领域，如教育、金融、医疗等，为不同领域提供更精准、高效的解决方案。 具 身 智 能 探 索 与机器人等硬件深度融合，实现物理 世界的智能交互。这将拓展其在工业 制造、物流配送等领域的应用。 自 进 化 系 统 构 建 通过自动合成训练数据，持续迭代 模型能力。这将使其能够更好地适 应不同垂直领域不断变化的需求，

（c）加强人工智能算力平台和系统服务的安全建设、管理、运维能力， 确保基础设施和服务运行不中断。 （d）对于人工智能系统采用的芯片、软件、工具、算力和数据资源，应 高度关注供应链安全。跟踪软硬件产品的漏洞、缺陷信息并及时采取修补加固 措施，保证系统安全性。 4.2 针对人工智能应用安全风险 4.2.1 网络域风险应对 （a）建立安全防护机制，防止模型运行过程中被干扰、篡改而输出不可 交互等方面组织研究人工智能决策透明度、可信度、纠错机制等问题，不断提 高人工智能可解释性和可预测性，避免人工智能系统意外决策产生恶意行为。 5.7 人工智能安全风险威胁信息共享和应急处置机制。持续跟踪分析 人工智能技术、软硬件产品、服务等方面存在的安全漏洞、缺陷、风险威胁、 安全事件等动向，协调有关研发者、服务提供者建立风险威胁信息通报和共享 机制。构建人工智能安全事件应急处置机制，制定应急预案，开展应急演练， 及时快速有效处置人工智能安全威胁和事件。