AI 后端 13 3.1 大模型 Llama3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.1 步骤 1：安装 Ollama . . . . . . . . . . . . . . . . . . . . . 13 3.1.2 步骤 2：安装 Llama . . . . . . . . . . . . . . . . . . . . 15 3.2 大模型 phi-3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 Ollama 安装 phi-3 . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 使用 phi-3 . . . . . . . . . . . . B（十亿，Billion）：在英文里是 Billion 的缩写，表示十亿。对于 AI 大模型 来说，B 一般用于描述模型的参数数量。例如，具有 50B 参数的模型代表这个 模型有 50 亿个参数。Ollama3 有尺寸 8B 和 70B，Phi-3-mini 有 3.8B 参数等。 T（万亿，Trillion）：在英文里是 Trillion 的缩写，表示万亿。在 AI 大模型 中，”T” 常用来表示模型在训练中处理的

DeepSeek 本地部署三个步骤 一共只需要三步，就能做到 DeepSeek 在本地运行并与它对话。 第一步，使用的是 ollama 管理各种不同大模型，ollama 比较直接、干净， 一键下载后安装就行，安装过程基本都是下一步。 不知道去哪里下载的，可以直接在我的公众号后台回复：ollama，下载这个 软件，然后装上，可以拿着手机扫码下图1直达我的公众号： 教程作者：郭震，工作 8 年目前美国 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 图 1: 我的公众号：郭震 AI 安装后，打开命令窗口，输入 ollama，然后就能看到它的相关指令，一共 10 个左右的命令，如下图2所示，就能帮我们管理好不同大模型： 图 2: Ollama 常用的命令 第二步，命令窗口输入：ollama pull deepseek-r1:1.5b，下载大模型 deepseek- r1 到我们自己的电脑，如下图3所示： 大模型就下载到我们本地电脑，接下来第 三步就可以直接使用和它对话了。在 cmd(Windows 电脑) 或 terminal(苹果 电脑) 执行命令：ollama run deepseek-r1:1.5b，很快就能进入对话界面，如 下图4所示： 图 4: Ollama 软件启动 deepseek-r1 界面 1.3 DeepSeek 本地运行使用演示 基于上面步骤搭建完成后，接下来提问 DeepSeek

Deepseek R1 是⽀持复杂推理、多模态处理、技术⽂档⽣成的⾼性能通⽤⼤语⾔模型。本⼿册 为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示： 个⼈⽤户：不建议部署32B及以上模型，硬件成本极⾼且运维复杂。 企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 1/20，注册赠5000万tokens 低成本尝鲜与测试 2. 国际接⼊渠道（需魔法或外企上⽹环境  ） 英伟达NIM：企业级GPU集群部署（链接） Groq：超低延迟推理（链接） 五、完整671B MoE模型部署（Ollama+Unsloth） 1. 量化⽅案与模型选择 量化版本 ⽂件体 积 最低内存+显存需 求 适⽤场景 DeepSeek-R1-UD- IQ1_M 158 GB ≥200 GB 消费级硬件（如Mac githubusercontent.com/Homebrew/install/HEAD/install.sh)" brew install llama.cpp 2. 下载并合并模型分⽚： 3. 安装Ollama： 4. 创建Modelfile： 5. 运⾏模型： 4. 性能调优与测试 GPU利⽤率低：升级⾼带宽内存（如DDR5 5600+）。 扩展交换空间： 六、注意事项与⻛险提示 1.

在端侧设备上，DeepSeek 能够满足实时性要求，例如 在智能家居、自动驾驶等场 景中，推理延迟低至毫秒级。 硬件兼容性 支持英特尔、英伟达等主流硬 件 平 台 ， 并 可 通 过 AnythingLLM和Ollama等工 具实现PC本地部署，保护数 据隐私的同时满足定制化需求。 离线能力 DeepSeek 支持完全离 线部署，适合网络条件 受限的场景（如工业物 联网、偏远地区）。 任 务 分 配

API 接口调用这些模型。  最后一类是本地推理，SGLang、vLLM、TensorRT-LLM 在生产级 GPU 服务负载中表现 出色，受到许多有本地托管模型需求的应用开发者的欢迎，此外，Ollama 和 LM Studio 也 是在个人计算机上运行模型的优选方案。 62 / 111 除模型层面外，应用层面的工具同样在快速发展，工具的进步紧密跟随 AI 应用的发展趋势。 自 ChatGPT