git+https://github.com/huggingface/transformers 我们建议您使用 Python3.8 及以上版本和 Pytorch 2.0 及以上版本。 3 Qwen 1.2 快速开始 本指南帮助您快速上手 Qwen1.5 的使用，并提供了如下示例：Hugging Face Transformers 以及 ModelScope 和 vLLM 在部署时的应用实例。 1.2.1 Hugging 模型进行了微调，并将该微调后的模型命名为 Qwen1.5-7B-finetuned ， 且使用的是自己的数据集，比如 Alpaca。要构建你自己的 GPTQ 量化模型，你需要使用训练数据进行校准。 以下是一个简单的演示示例，供你参考运行： from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig from transformers import AutoTokenizer python 脚本以及 shell 脚本的相关细节 Shell 脚本 在展示 Python 代码之前，我们先对包含命令的 Shell 脚本做一个简单的介绍。我们在 Shell 脚本中提供了一些 指南，并且此处将以 finetune.sh 这个脚本为例进行解释说明。 要为分布式训练（或单 GPU 训练）设置环境变量，请指定以下变量：GPUS_PER_NODE 、NNODES、NODE_RANK

dropout 掩层在所有 时间步都是一样的，你可以使用 noise_shape=(batch_size, 1, features)。 • seed: 一个作为随机种子的 Python 整数。 参考文献 • Dropout: A Simple Way to Prevent Neural Networks from Overfitting 5.2.4 Flatten [source] keras data_format=’channels_last’，输出 4D 张量，尺寸为 (batch, new_rows, new_cols, filters)。 由于填充的原因，rows 和 cols 值可能已更改。 参考文献 • A guide to convolution arithmetic for deep learning • Deconvolutional Networks 5.3.5 Conv3D RNN，但它往往会占用更多的内存。展开只适用于短序列。 • reset_after: GRU 公约 (是否在矩阵乘法之前或者之后使用重置门)。False =「之前」(默认)， Ture =「之后」( CuDNN 兼容)。 参考文献 • Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Transla- tion

以引导感兴趣的读者走得更远。Bela Bollobas的《线性分析》 (Bollobás, 1999) 对线性代数和函数分析进行了深入的研究。(Wasserman, 2013) 是一本很好的统计学指南。 如果读者以前没有使用过Python语言，那么可以仔细阅读这个Python教程3。 论坛 与本书相关，我们已经启动了一个论坛，在discuss.d2l.ai4。当对本书的任何一节有疑问时，请在每一节的末 模型参数，测试数据集用于评估拟合的模 型。然后我们观察模型在这两部分数据集的性能。“一个模型在训练数据集上的性能”可以被想象成“一个学 生在模拟考试中的分数”。这个分数用来为一些真正的期末考试做参考，即使成绩令人鼓舞，也不能保证期 末考试成功。换言之，测试性能可能会显著偏离训练性能。当一个模型在训练集上表现良好，但不能推广到 测试集时，这个模型被称为过拟合（overfitting）的。就像 决预 测问题。当开始动手尝试并在真实数据集上应用了有效的机器学习模型，你会更倾向于学习更多数学。因此， 这一节到此结束，本书将在后面介绍更多数学知识。 如果渴望了解有关线性代数的更多信息，可以参考线性代数运算的在线附录38或其他优秀资源 (Kolter, 2008, Petersen et al., 2008, Strang, 1993)。 小结 • 标量、向量、矩阵和张量是线性代数中的基本数学对象。

度学习的本质；第 10~15 章为模型算法应用部分，主要介绍常见的算法与模型，让读者能够 学有所用。 在本书中编写时，很多英文词汇尚无法在业界找到一个共识翻译名，因此作者备注翻译 的英文原文，供读者参考，同时也方便读者日后阅读相关英文文献时，不至于感到陌生。 尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论是共通的。本书已尽可能地涵盖其中基础、主流并且前沿的算法知识，但是仍然有很 深度学习—深入理解人工智能算法》一书 进行二次撰写，代码部分完全基于 PyTorch 进行实现。考虑到本人能力有限、行文仓促，可 以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 神经网络发展简史 1.3 深度学习特点 1.4 深度学习应用 1.5 深度学习框架 1.6 开发环境安装 1.7 参考文献 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4

翻译：黄海广 备注：请关注github的更新，线性代数和概率论已经更新完毕。 CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2.矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 个元素是否等于 的第 个元素。 我们可以使用矩阵乘法的定义直接 验证这一点： 3 运算和属性 在本节中，我们介绍矩阵和向量的几种运算和属性。 希望能够为您复习大量此类内容，这些笔记可以作 为这些主题的参考。 3.1 单位矩阵和对角矩阵 单位矩阵, ，它是一个方阵，对角线的元素是1，其余元素都是0： 对于所有 ，有： 注意，在某种意义上，单位矩阵的表示法是不明确的，因为它没有指定 的维数。通常，

难以区分什么是必要 的，什么是非必要的。这构成了我写这本书的初衷——从基础到模型结构的步步递进。我们不会 一次性给出一大堆可选择的内容导致学习变得复杂化，而是用到什么就讲什么。本书不可避免要 参考 [2] 的讲解方式，但我们对讲解顺序和内容，以及程序代码都做了大量的改进。说了那么多， 总之，我们的目标是写一个最好的最容易上手的 pytorch 入门教程——从全连接网络开始。 书中的示例代 本章我们的目标是把构建自己的数据集，并来测试和可视化。 4.1 自定义 Variable 数据与网络训练 假如我们并没有图像数据，我们自己创造一些数据，并用它们来分类。 由于本节内容相对比较多，大家可以直接参考本节代码。本节代码见 chapter4.py。 我们假设一共有四类数据，分布如下： 设横纵坐标为 (x,y)，最左下角的一类中，x ∈ [0,1],y ∈ [0,1]。最右上角的一类中，x ∈ [4 L2 正则化等）并没有实现，一是 因为借助 pytorch 实现非常简单，二是为了保证网络的简洁性。 我相信这部小书比以往任何您阅读过的 pytorch 入门书都要通俗和容易上手，在前人的教程 参考下，我主要对本书的叙事顺序和结构安排费了比较多的心力，而知识结构并没有做太多的改 动。 Bibliography [1] https://zhuanlan.zhihu.com/p/48982978

device("cuda:0" if torch.cuda.is_available() else "cpu") net.fc = nn.Linear(512, 10) 4.卷积神经网络使用技巧 30 参考文献 • IAN GOODFELLOW等，《深度学习》，人民邮电出版社，2017 • Andrew Ng，http://www.deeplearning.ai • LeNet-5 ： Gradient-Based Deep Convolutional Neural Networks (Alex Krizhevsky, Ilya Sutskever, and Geoffrey Hinton, 2012) 31 参考文献 • VGG：Very Deep Convolutional Networks for Large-Scale Image Recognition (Karen Simonyan and Andrew

度 如 果 要 保 留 计 算 图 ， 可 通 过 设 置 b a c kw a r d（ ） 中 参 数 retain_graph=True 释 放 计 算 图 具体实例可参考书中2.7小节内容 2. Autograd自动求导 18 18  PyTorch 1.x的Tensor不参与求导的几种方式 张量操作 新建/共享内存 留在计算图中 使用场景 tensor 些张量。 learning_rate = 1e-4 optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) 39 参考文献 1. IAN GOODFELLOW等，《深度学习》，人民邮电出版社，2017 2. Andrew Ng，http://www.deeplearning.ai 3. Christopher

Tom Do 翻译：石振宇 审核和修改制作：黄海广 备注：请关注github的更新。 CS229 机器学习课程复习材料-概率论 CS229 机器学习课程复习材料-概率论 概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 2.2 概率质量函数 2.3 概率密度函数 2.4 期望 2.5 方差 2.6 一些常见的随机变量 4 条件概率分布 3.5 贝叶斯定理 3.6 独立性 3.7 期望和协方差 4. 多个随机变量 4.1 基本性质 4.2 随机向量 4.3 多元高斯分布 5. 其他资源 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记 试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测