AI 后端 13 3.1 大模型 Llama3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.1 步骤 1：安装 Ollama . . . . . . . . . . . . . . . . . . . . . 13 3.1.2 步骤 2：安装 Llama . . . . . . . . . . . . . . . . . . . . 15 3.2 大模型 phi-3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 Ollama 安装 phi-3 . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 使用 phi-3 . . . . . . . . . . . . B（十亿，Billion）：在英文里是 Billion 的缩写，表示十亿。对于 AI 大模型 来说，B 一般用于描述模型的参数数量。例如，具有 50B 参数的模型代表这个 模型有 50 亿个参数。Ollama3 有尺寸 8B 和 70B，Phi-3-mini 有 3.8B 参数等。 T（万亿，Trillion）：在英文里是 Trillion 的缩写，表示万亿。在 AI 大模型 中，”T” 常用来表示模型在训练中处理的

的一部分。祝你使用愉快！ 1.5 Ollama Ollama 帮助您通过少量命令即可在本地运行 LLM。它适用于 MacOS、Linux 和 Windows 操作系统。现在， Qwen1.5 正式上线 Ollama，您只需一条命令即可运行它： ollama run qwen 接着，我们介绍在 Ollama 使用 Qwen 模型的更多用法 1.5.1 快速开始 访问官方网站 Ollama ”，点击 Download 以在您的设备上安装 Ollama。您还可以在网站上搜索模型，在这里 您可以找到 Qwen1.5 系列模型。除了默认模型之外，您可以通过以下方式选择运行不同大小的 Qwen1.5-Chat 模型： • ollama run qwen:0.5b • ollama run qwen:1.8b • ollama run qwen:4b • ollama run qwen:7b • ollama run qwen:14b qwen:14b • ollama run qwen:72b 1.5.2 在 Ollama 运行你的 GGUF 文件 有时您可能不想拉取模型，而是希望直接使用自己的 GGUF 文件来配合 Ollama。假设您有一个名为 qwen1_5-7b-chat-q4_0.gguf 的 Qwen 的 GGUF 文件。在第一步中，您需要创建一个名为 Modelfile 的文件。该文件的内容如下所示： FROM

DeepSeek 本地部署三个步骤 一共只需要三步，就能做到 DeepSeek 在本地运行并与它对话。 第一步，使用的是 ollama 管理各种不同大模型，ollama 比较直接、干净， 一键下载后安装就行，安装过程基本都是下一步。 不知道去哪里下载的，可以直接在我的公众号后台回复：ollama，下载这个 软件，然后装上，可以拿着手机扫码下图1直达我的公众号： 教程作者：郭震，工作 8 年目前美国 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 图 1: 我的公众号：郭震 AI 安装后，打开命令窗口，输入 ollama，然后就能看到它的相关指令，一共 10 个左右的命令，如下图2所示，就能帮我们管理好不同大模型： 图 2: Ollama 常用的命令 第二步，命令窗口输入：ollama pull deepseek-r1:1.5b，下载大模型 deepseek- r1 到我们自己的电脑，如下图3所示： 大模型就下载到我们本地电脑，接下来第 三步就可以直接使用和它对话了。在 cmd(Windows 电脑) 或 terminal(苹果 电脑) 执行命令：ollama run deepseek-r1:1.5b，很快就能进入对话界面，如 下图4所示： 图 4: Ollama 软件启动 deepseek-r1 界面 1.3 DeepSeek 本地运行使用演示 基于上面步骤搭建完成后，接下来提问 DeepSeek

Deepseek R1 是⽀持复杂推理、多模态处理、技术⽂档⽣成的⾼性能通⽤⼤语⾔模型。本⼿册 为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示： 个⼈⽤户：不建议部署32B及以上模型，硬件成本极⾼且运维复杂。 企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 1/20，注册赠5000万tokens 低成本尝鲜与测试 2. 国际接⼊渠道（需魔法或外企上⽹环境  ） 英伟达NIM：企业级GPU集群部署（链接） Groq：超低延迟推理（链接） 五、完整671B MoE模型部署（Ollama+Unsloth） 1. 量化⽅案与模型选择 量化版本 ⽂件体 积 最低内存+显存需 求 适⽤场景 DeepSeek-R1-UD- IQ1_M 158 GB ≥200 GB 消费级硬件（如Mac githubusercontent.com/Homebrew/install/HEAD/install.sh)" brew install llama.cpp 2. 下载并合并模型分⽚： 3. 安装Ollama： 4. 创建Modelfile： 5. 运⾏模型： 4. 性能调优与测试 GPU利⽤率低：升级⾼带宽内存（如DDR5 5600+）。 扩展交换空间： 六、注意事项与⻛险提示 1.

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage through integrations with OpenAI's , , Chat GPT language model Azure OpenAI and . Google Gemini Ollama AI Smart Assistance Table of contents DBeaver Lite User Guide 24.2.ea. Page 639 of 1010. Note: you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. Sign up on the . OpenAI platform AI settings and customization Basic configuration

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage through integrations with OpenAI's , , Chat GPT language model Azure OpenAI and . Google Gemini Ollama AI Smart Assistance Table of contents DBeaver Lite User Guide 24.1. Page 638 of 1008. Note: DBeaver you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. Sign up on the . OpenAI platform AI settings and customization Basic configuration

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage through integrations with OpenAI's , , Chat GPT language model Azure OpenAI and . Google Gemini Ollama AI Smart Assistance Table of contents DBeaver Ultimate User Guide 24.1. Page 687 of 1169. Note: you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. Sign up on the . OpenAI platform AI settings and customization Basic configuration

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage through integrations with OpenAI's , , Chat GPT language model Azure OpenAI and . Google Gemini Ollama AI Smart Assistance Table of contents DBeaver Ultimate User Guide 24.2.ea. Page 688 of 1171. you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. Sign up on the . OpenAI platform AI settings and customization Basic configuration

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage through integrations with OpenAI's , , Chat GPT language model Azure OpenAI and . Google Gemini Ollama AI Smart Assistance Table of contents DBeaver User Guide 24.2.ea. Page 688 of 1171. Note: DBeaver you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. Sign up on the . OpenAI platform AI settings and customization Basic configuration

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage through integrations with OpenAI's , , Chat GPT language model Azure OpenAI and . Google Gemini Ollama AI Smart Assistance Table of contents DBeaver User Guide 24.1. Page 688 of 1171. Note: DBeaver you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. Sign up on the . OpenAI platform AI settings and customization Basic configuration