于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何 使用 llama.cpp 运行 Qwen。 1.4.1 准备 这个示例适用于 Linux 或 MacOS 系统。第一步操作是：“克隆仓库并进入该目录： Qwen1.5 正式上线 Ollama，您只需一条命令即可运行它： ollama run qwen 接着，我们介绍在 Ollama 使用 Qwen 模型的更多用法 1.5.1 快速开始 访问官方网站 Ollama ”，点击 Download 以在您的设备上安装 Ollama。您还可以在网站上搜索模型，在这里 您可以找到 Qwen1.5 系列模型。除了默认模型之外，您可以通过以下方式选择运行不同大小的 的信息，请参阅 论文 和 文档 。 1.10.1 安装 默认情况下，你可以通过 pip 来安装 vLLM ：pip install vLLM>=0.3.0 ，但如果你正在使用 CUDA 11.8，请查看官方文档中的注意事项以获取有关安装的帮助（链接 ）。我们也建议你通过 pip install ray 安装 ray，以便支持分布式服务。 1.10. vLLM 19 Qwen 1.10.2 离线推理

测试。这样我们就完成了 Pytorch 的环境搭建，这里有个很特 别的地方需要注意，就是 Pytorch 的 GPU 版本需要 CUDA 驱 动支持与 CUDA 库的安装配置支持。关于这块的安装强烈建 议参照英伟达官方网站的安装指导与开发者手册。 1.3 Pytorch 基础术语与概念 很多人开始学习深度学习框架面临的第一个问题就是专业术语 理解跟基本的编程概念与传统面向对象编程不一样，这个是初 学者面临 Python 实现， 演示的集成开发环境（IDE）是 PyCharm。 1.4.1 PyCharm 的安装与配置 首先是从 Pycharm 官方网站上下载 Pycharm，版本有专业 版与社区版之分，社区版免费使用而专业版则需要付费使用。 Pycharm 官方网站如下： https://www.jetbrains.com/pycharm/ 点击就可以下载专业版试用或者社区免费版，默认安装之后就 以上都是一些最基础跟使用频率较高的 Pytorch 基础操作，了 解并掌握这些函数有助于进一步学习本书后续章节知识，更多 关于 Pytorch 基础操作的函数知识与参数说明，读者可以直接 参见官方的开发文档。 1.5 线性回归预测 上一小节介绍了 Pytorch 框架各种基础操作，本节我们学习一 个堪称是深度学习版本的 Hello World 程序，帮助读者理解模 型训练与参数优化等基本概念，开始我们学习

https://scikit-learn.org/stable/tutorial/basic/tutorial.html ，scikit-learn (sklearn) 官方文档 2. https://sklearn.apachecn.org/ ，scikit-learn (sklearn) 官方 文档中文版 31 谢 谢！

SACC2017 腾讯优图 部分合作伙伴 南宁公安 福建公安 苏州公安 SACC2017 Thanks & QA 腾讯优图 AI开放平台：http://open.youtu.qq.com 官方邮箱：youtu@tencent.com 腾讯优图公众号：腾讯优图 腾讯云-天御： https://cloud.tencent.com/product/pf SACC2017

onal array object）是储存单一数据类型的 多维数组。 ufunc：全称（universal function object）它是一种能够对数组进行处 理的函数。 NumPy的官方文档： https://docs.scipy.org/doc/numpy/reference/ NumPy是什么？ 7 Anaconda里面已经安装过NumPy。 原生的Python安装：

会自动计算微分，本章也将介绍它。 机器学习还涉及如何做出预测：给定观察到的信息，某些未知属性可能的值是多少？要在不确定的情况下进 行严格的推断，我们需要借用概率语言。 最后，官方文档提供了本书之外的大量描述和示例。在本章的结尾，我们将展示如何在官方文档中查找所需 信息。 本书对读者数学基础无过分要求，只要可以正确理解深度学习所需的数学知识即可。但这并不意味着本书中 不涉及数学方面的内容，本章会快速介绍一 ??， 将显示实现该函数的Python代码。 2.7. 查阅文档 83 小结 • 官方文档提供了本书之外的大量描述和示例。 • 可以通过调用dir和help函数或在Jupyter记事本中使用?和??查看API的用法文档。 练习 1. 在深度学习框架中查找任何函数或类的文档。请尝试在这个框架的官方网站上找到文档。 Discussions46 46 https://discuss.d2l 如，一些数据完全丢失了，缺失值被简单地 标记为“NA”。每套房子的价格只出现在训练集中（毕竟这是一场比赛）。我们将希望划分训练集以创建验证 集，但是在将预测结果上传到Kaggle之后，我们只能在官方测试集中评估我们的模型。在 图4.10.2 中，“Data” 选项卡有下载数据的链接。 开始之前，我们将使用pandas读入并处理数据，这是我们在 2.2节中引入的。因此，在继续操作之前，我们需要

年中期，Keras 拥有超过 250,000 名个人用户。与其他任何深度学习框架相比，Keras 在行业和研究领域的应用率更高（除 TensorFlow 之外，且 Keras API 是 TensorFlow 的官方前端， 为什么选择 KERAS？ 6 通过 tf.keras 模块使用）。 您已经不断与使用 Keras 构建的功能进行交互 - 它在 Netflix, Uber, Yelp, Instacart Keras 可以轻松将模型转化为产品 与任何其他深度学习框架相比，你的 Keras 模型可以轻松部署在更广泛的平台上： • 在 iOS 上，通过 Apple’s CoreML（苹果为 Keras 提供官方支持）。这里有一个教程。 • 在安卓上，通过 TensorFlow Android runtime，例如：Not Hotdog app。 • 在浏览器上，通过 GPU 加速的 JavaScript

较高，容易实现自定义网络层，这也是 PyTorch 继承获得的优良基因。但是由于 Lua 语言使用人群较少，Torch 一直未能获得主流应用。 ❑ MXNet 由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了 命令式编程和符号式编程混合方式，灵活性高，运行速度快，文档和案例也较为丰 富。 ❑ Keras 是一个基于 Theano 和 TensorFlow 等框架提供的底层运算而实现的高层框架， 29 CUDA 安装结果测试-2 1.6.3 PyTorch 安装 PyTorch 和其他的 Python 库一样，使用 Python 包管理工具 pip install 命令即可安装。 官方推荐采用 conda install 命令安装。打开 https://pytorch.org/网页，选择 Windows 操作系 统、Conda 安装方式、Python 语言和 CUDA 版本，即可生成对应的安装命令，如图 方法中。对于全连接层类，在 forward 方法中实现?(?@? + ?)的运算逻辑(或者?@?? + ?的)，非常简单，最后返回全连接层的输出张量即可,读者朋友可自行阅读 PyTorch 的对应 部分源代码学习官方的实现方式。 6.3 神经网络 通过层层堆叠图 6.4 中的全连接层，同时保证前一层的输出节点数与当前层的输入节 点数匹配，，即可堆叠出任意层数的网络。我们把这种由神经元相互连接而成的网络叫做神