《Deepseek R1 本地部署完全⼿册》 版权归：HomeBrew Ai Club 作者wechat：samirtan 版本：V2.0 更新⽇期：2025年2⽉8⽇ ⼀、简介 Deepseek R1 是⽀持复杂推理、多模态处理、技术⽂档⽣成的⾼性能通⽤⼤语⾔模型。本⼿册 为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示： 个⼈⽤户：不建议部署32B及以上模型，硬件成本极⾼且运维复杂。 企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 模型参 数 Windows 配置要求 Mac 配置要求 适⽤场景 1.5B - RAM: 4GB - GPU: 集成显卡/现代CPU 24GB - GPU: RTX 3090（24GB VRAM） - 存储: 20GB - 内存: 32GB（M3 Max） - 存储: 20GB 复杂推理、技术⽂档⽣ 成 32B+ 企业级部署（需多卡并联） 暂不⽀持 科研计算、⼤规模数据 处理 2. 算⼒需求分析 模型 参数规 模 计算精 度 最低显存需 求 最低算⼒需求 DeepSeek-R1 (671B) 671B

在 k8s 上部署高可用的 service mesh 监控 pctang@caicloud.io 唐鹏程 才云科技TOC Solving issues in a new way Monitoring your service mesh Old-school monitoringPrometheus + Kubernetes ● A time series based monitoring

eek-R1 DeepSeek颠覆式创新——开源 33政企、创业者必读 新时代下的集中力量办大事  每个企业都可以直接使用DeepSeek，因为开源透明可信任，企业和 政府可做大量私有化部署  一个开源产品获得突破之后，全世界都能分享成果，结束中国百模大 战，节省大量成本  很多公司参与开源，帮助改进产品，很多人基于DS生态开发应用产 品，增加影响力，人人为我，我为人人  训练成本降低，堆显卡模式受质疑，探索新思路，算法优化空间大  无需训练自己的基座模型，直接部署在DeepSeek上，不用重复发明轮子  公开蒸馏方法，帮助其他模型提升能力，实现了模型制造模型，犹如工业母机  小模型可部署在企业内电脑或一体机上，使用成本降低，形成分布式推理网络  技术门槛降低， 可标准化、SaaS化部署，下载就能用 DeepSeek颠覆式创新——成本暴跌 35政企、创业者必读 惠及全球人民，科技平权，技术平民化 惠及全球人民，科技平权，技术平民化  运营商、云服务可免费用，降低云服务成本  大型企业可使用多个DeepSeek，解决不同场景需求  中小企业免费部署，消除数字鸿沟  个人可以拥有自己的DeepSeek ，可以成为超级个体  对于创业者得到世界最先进大模型，如虎添翼，和巨头站在 同一起跑线上  很多发展中国家都能成为大模型玩家，实现人类命运共同体 DeepSeek颠覆式创新——免费

-Agent——管理生命周期（PA） u启动envoy u热重启envoy u监控envoy u优雅关闭envoy启动envoy ü监听/etc/certs目录 ü生成envoy静态配置文件envoy-rev0.json ü通过exec.Command启动 envoy并监听状态 • 文件配置文档 • 启动参数文档热重启envoy热重启涉及以下步骤 • Pilot-Agent只是负责启动S，其他步骤由envoy完成。 未完成的工作 • 5. 在P优雅关闭过程中，S会从共享内存中获取stats • 5. 到了时间S通知P自行关闭 • 6. S升级为P • 官方博客：Envoy hot restart什么时候会进行热重启？监控envoy ü获取非正常退出状态 ü抢救机制触发 ü抢救令牌减少一个（总共10个） ü在2(n-1) * 200毫秒后执行（为什么不立即执行） ü失败再次触发抢救机制 ü10个令 ü K8s发送SIGTERM信号让容器优雅关闭 ü Pilot-Agent接收信号通过context关闭子服务，发送SIGKILL关闭envoy ü Envoy不支持优雅关闭，需要通过金丝雀或蓝绿部署方式实现 Envoy优雅关闭实现方式讨论：#3307 #2920Pilot-Discovery——配置中心（PD） uv1版本和v2版本之间的区别 u建立缓存配置 u触发配置生效方式v1版本和v2版本之间的区别

本。开发者免费下载大模型以后，会在自己的计算机资源上进行大模型应用的开发和调试。大模 型厂商提供一些技术支持即可。同时因为大模型运行在本地，开发者在构建大模型应用时，为了 物理部署上的便利，很可能会在应用与模型之间创造出物理部署上的耦合性。 当然这种“开源策略”不是进攻的方法，而是“先为不可胜，以待敌之可胜”。目标是以最 小的代价，尽可能多地消耗闭源对手的资源与心气。 顾钧 资深开发者社区运营专家，目前担任杭州映云科技 大模型（LLM）在编程上的应用及其生成代码的采纳率 在 2024 年，我们还看到了“AI 程序员”Devin 的诞生，Devin 能够独立完成复杂的编码和 调试任务、自主查找和修复代码库中的错误，构建和部署应用程序。在 SWE-bench 编码基准测 试中，Devin 能够解决 GitHub 中 13.86%的真实问题，有了很大提升。 说起 SWE-bench 编码基准测试（https://www 技术对应的市场需求变化也是挺大的。在讲变化之前，我觉得有必要分 享一下为什么 RAG 是目前市场上不可或缺的一种大模型应用的技术实现方式，它的优点是什 么？以及它和主要竞争技术之间的现状是怎么样的？ RAG 最开始被大家热推，更多是因为以下三个原因：可以避开大模型的上下文窗口长度的 限制；可以更好地管理和利用客户专有的本地资料文件；可以更好地控制幻觉。 这三点到现在来看依然还是成立的，但上下文窗口这个优势已经慢慢淡化了，因为各大模型

，这里尽量详细的描述你的数据]  用10张精美的绘图，展示数据变量之间的关系或潜在的分 析思路，包括展示数据分析的直方图和箱线图。  呈现关键变量之间的配对散点矩阵图和小提琴图，以及常 用的相关性热图等，每张图都有详细的解释。 其他常用英文指令 Prompts（指令） 描述 Prompts（指令） 描述 Can you load and preview the data? 加载，预览一下数据  语言支持：支持英文和中文内容 生成。 知网研学平台  界面友好：操作界面简洁明了，用户容易上 手，非技术背景用户也能快速学会使用该工 具进行文献综述的生成。  灵活定制：支持使用本地部署的语言模型， 为有特定需求的用户提供了更多灵活性。  实时演示：提供实时演示demo，方便用户了 解和体验工具的功能。  语言支持：仅支持英文输入和英文内容生成。 斯坦福STORM 生成综述对比：多维度对比 生成综述案例：斯坦福 STORM（英文版） 生成综述案例：斯坦福 STORM（中文译版） ***附加知识*** DeepSeek+DeepResearch 基本知识介绍 DeepSeek：颠覆出圈，霸榜热议 2 0 2 3 年 7 月 D e e p S e e k 成 立 2 0 2 3 年 1 1 月 2 日 首个开源代码大模型 DeepSeek Coder发布 2 0 2 3 年 1

Lyft 联合开发，Go 语 言，与 K8s 一脉相承且深度融合 • K8s 提供了部署、升级和有限的运行流量管 理能力 • Istio 补齐了 K8s 在微服务治理上的短板 （限流、熔断、降级、分流等） • Istio 以 Sidecar 的形式运行在 Pod 中， 自动注入，自动接管流量，部署过程对业务 透明 • 提供了完整的 Service Mesh 解决方案 • 数据面：Envoy /0215/24 严选上云 Roadmap16/24 落地关键步骤 拥抱云原生 • 大势所趋 • 容器化是微服务的最佳载体 • 容器化是 Service Mesh 高 效落地的基石 部署平台 • Sidecar 注入，业务无感知 • 加速云化 建设服务治理平台 • 无缝衔接 VM 集群和容器集 群的服务治理能力 • 最大化发挥 Service Mesh 的 优势 灰度引流 Protocol（简称为 MCP，一套标准 GRPC 协议）19/24 质量保障体系 • CICD • 单元测试 • 性能基准自动测试 • 监控报警 • 版本升级机制 • Envoy 热更新机制 • 灰度发布机制：业务灰度+流量灰度 • 演练测试 • 业务回归验证20/24 一些坑 • Envoy 目前编译版本存在 Bug • 在 Istio pilot 升级到加入 accesslog

质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是：软件与明确地和隐含地定义的需求相一致的程度。 MDS SnapshotClone Server HTTP采集 bvar数据 定时获取图表 并发送邮件 获取集群拓扑信息 Curve利用brpc内置的bvar组件生成监控指标，并 使用部署在docker的三个组件进行监控指标的处 理与展示：  Prometheus——面向云原生应用程序的开源 的监控&报警工具，curve利用它进行监控指标 的采集与存储。  Daily 获得某个bvar在一段时间内平均每秒 的累加值。PerSecond也是会自动更新的衍生变量。 21/33监控指标的采集与存储 Curve使用开源的监控工具Prometheus采集监控指标，大致 流程为： 1. 部署监控时，Curve根据集群信息生成配置文件， 指定了 Prometheus的监控目标（包括Client、MDS、 ChunkServer、Etcd、物理节点等）。 2. Prometheus依据上述配置文件，发现相应服务。

物联终端 互联网、 大数据 AI、 IoT 数字化转型  应用价值提升  应用数量增长  应用类型丰富  应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展