自定义数据集实战 主讲：龙良曲 Pokemon Go! Pokemon Dataset https://www.pyimagesearch.com/2018/04/16/keras-and-convolutional-neural-networks-cnns/ Download ▪ 链接: https://pan.baidu.com/s/1V_ZJ7ufjUUFZwD2NHSNMFw

7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程 15.3 宝可梦数据集实战 15.4 迁移学习 15.5 Saved_model 15.6 模型部署 15.7 参考文献 预览版202112 的升级版本 Cafffe2，Caffe2 目前已经融入到 PyTorch 库中。 ❑ Torch 是一个非常优秀的科学计算库，基于较冷门的编程语言 Lua 开发。Torch 灵活性 较高，容易实现自定义网络层，这也是 PyTorch 继承获得的优良基因。但是由于 Lua 语言使用人群较少，Torch 一直未能获得主流应用。 ❑ MXNet 由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了

2.4 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.6 定义优化算法 3.3 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.3.4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 ii 3.3.6 定义优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.7 训练 . . . . . .

��������������������������������������������������������������������������������������� 5 1.4.2 张量定义与声明 ����������������������������������������������������������������������������������������������� (functional)、损 失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 深度学习主要是针对张量的数据操作、这些数据操作从简单到 复杂、多数都是以矩阵计算的形式存在，最常见的矩阵操作就 是加减乘除、此外卷积、池化、激活、也是模型构建中非常有 用的算子 / 操作数。Pytorch 支持自定义算子操作，可以通过 自定义算子实现复杂的网络结构，构建一些特殊的网络模型。 张量跟算子 / 操作数一起构成了计算图，它们是也是计算图的 基本组成要素。 ● 计算图 深度学习是基于计算图完成模型构建，实现数据在各个计算图

高等数学 1.导数定义： 导数和微分的概念 ?′(?0) = lim ??→0 ?(?0+??)−?(?0) ?? （1） 或者：?′(?0) = lim ?→?0 ?(?)−?(?0) ?−?0 （2） 2.左右导数导数的几何意义和物理意义 函数?(?)在?0处的左、右导数分别定义为： 左导数：?′−( (0) = ?，?(0) = ? 机器学习的数学基础 4 9.微分中值定理，泰勒公式 Th1:(费马定理) 若函数?(?)满足条件： (1)函数?(?)在?0的某邻域内有定义，并且在此邻域内恒有 ?(?) ≤ ?(?0)或?(?) ≥ ?(?0), (2) ?(?)在?0处可导,则有 ?′(?0) = 0 Th2:(罗尔定理) 设函数?(?)满足条件： 2, ⋯ , ??的过渡矩阵。 6.坐标变换公式 若向量?在基?1, ?2,⋯ , ??与基?1, ?2, ⋯ , ??的坐标分别是 ? = (?1,?2, ⋯ , ??)?， ? = (?1, ?2, ⋯ , ??)? 即： ? = ?1?1 + ?2?2 + ⋯ + ???? = ?1?1 + ?2?2 + ⋯ + ????，则向 量坐标变换公式为? = ?? 或 ? = ?−1

或者 表示矩阵 的第 列： 我们用 或者 表示矩阵 的第 行： 在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上 操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通 用约定。 2.矩阵乘法 两个矩阵相乘，其中 and ，则： 其中： 请注意，为了使矩阵乘积存在， 中的列数必须等于 中的行数。有很多方法可以查看矩阵乘法，我们 的行的线性组合，其中线性组合的系数由 的元素给出。 2.3 矩阵-矩阵乘法 有了这些知识，我们现在可以看看四种不同的（形式不同，但结果是相同的）矩阵-矩阵乘法：也就是 本节开头所定义的 的乘法。 首先，我们可以将矩阵 - 矩阵乘法视为一组向量-向量乘积。 从定义中可以得出：最明显的观点是 的 ， 元素等于 的第 行和 的的 列的内积。如下面的公式所示： 这里的 ， ， ， ， 这里的 ， ， ， ，所以它们可以计算内积。 的行作为 和 行之间的矩阵 向量积。公式如下： 这里第 行的 由左边的向量的矩阵向量乘积给出： 将矩阵乘法剖析到如此大的程度似乎有点过分，特别是当所有这些观点都紧跟在我们在本节开头给出的 初始定义（在一行数学中）之后。 这些不同方法的直接优势在于它们允许您在向量的级别/单位而不是标量上进行操作。 为了完全理解线 性代数而不会迷失在复杂的索引操作中，关键是要用尽可能多的概念进行操作。 实

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.1 自定义 Variable 数据与网络训练 19 4.2 准确率的可视化 22 4.3 分类结果的可视化 23 4.4 自定义 Dataset 数据集 25 3 4.5 总结 27 Literature . . . . . . . . . . . . . Dataset 以及 torch.utils.data.DataLoader。 Dataset 存储样本以及它们的标签等信息，Dataset 可以使用预加载的数据集（例如 mnist）， 也可以使用自定义的数据集；而 DataLoader 是把样本进行访问和索引的工具，它实现了迭代器 功能，也就是说它可以依次将 batch_size 数量的样本导出。 注意，前面已经导入过的 python 包我们就不再重复导入了。 data import DataLoader 前面说过，Dataset 可以存储自定义数据，我们可以继承 Dataset 类，在子类中实现一些固定 功能的函数，这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见，我们先描述如何 使用预加载数据，然后第二章就开始构建神经网络模型。等第四章我们再描述如何自定义数据集。 我们一次写一个完整的程序来把数据可视化一下： from torchvision

SVD(奇异值分解) 假设矩阵 ? 是一个 ? × ? 的矩阵，通过SVD是对矩阵进行分解， 那么我们定义矩阵 ? 的 SVD 为： ? = ???T ? ?T ? ? ? × ? ? × ? ? × ? ? × ? ? ? 奇异值 · · 16 2.SVD(奇异值分解) 符号定义 ? = ???T = ?1?1?1 T + ⋯ + ??????T 其中?是一个? × ?的矩阵，每个特征向量 ，则：?? = ?? 得到：??? = ????，?? = ???/?? 这样我们可以求出我们的每个奇异值，进而求出奇异值矩阵 ?。 23 2.SVD(奇异值分解) SVD计算案例 设矩阵 ?定义为：? = 3 0 4 5 则?的秩? = 2。 ?T? = 3 4 0 5 3 0 4 5 = 25 20 20 25 ??T = 3 0 4 5 3 4 0 5 = 9 12 • • • • • • • • • • • • 主 成 分 分 析 的 几 何 解 释 平移、旋转坐标轴 34 PCA的思想很简单——减少数据集的特征数量，同时尽可能地保留信息。 3.PCA(主成分分析) 35 3.PCA(主成分分析) 通过平移、旋转坐标轴，找到主成分pc1和pc2 36 PCA识别在训练集中占最大方差量的轴。 在图1中，它是实线。 它还找到与第一个轴正交的

、三维图组、 图像序列或相 关的物理数据 ，如声波、电 磁波或核磁 共振的深度、 吸收度或反射 度 预处理 对图像做一 种或一些预 处理，使图 像满足后继 处理的要 求 ，如：二次 取样保证图 像坐标的正 确，平滑、 去噪等 特征提取 从图像中提取 各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ?也趋近于零，则称? = ?(?)在点 ?0处连续。 lim Δ?→0Δ? = lim Δ?→0 ? ?0 + Δ? − ? ?0 = 0 33 函数?(?) 在点 处连续，需要满足的条件： 存在 1. 函数在该点处有定义 2. 函数在该点处极限 3. 极限值等于函数值 )⋂? = ?⋂(?⋂?) (3) 分配律：(?⋃?)⋂? = (?⋂?)⋃(?⋂?) (4) 德.摩根律: ?⋃? = ?⋂? ?⋂? = ?⋃? 45 概率论与数理统计-古典型概率 定义：试验?中样本点是有限的，出现每一样本点的概率是相同 。 一袋中有8个球，编号为1－8，其中1－3号为红球，4－8号为黄球， 设摸到每一球的可能性相等，从中随机摸一球，记? ={ 摸到红球 }，求

距离度量 欧氏距离(Euclidean distance) ? ?, ? = ෍ ? ?? − ?? 2 欧几里得度量（Euclidean Metric）（也称 欧氏距离）是一个通常采用的距离定义，指 在?维空间中两个点之间的真实距离，或者 向量的自然长度（即该点到原点的距离）。 在二维和三维空间中的欧氏距离就是两点之 间的实际距离。 电影分类 5 距离度量 曼哈顿距离(Manhattan 为城市街区距离(City Block distance)。 6 距离度量 切比雪夫距离(Chebyshev distance) ? ?, ? = max? ?? − ?? 二个点之间的距离定义是其各坐标数值差绝对 值的最大值。 国际象棋棋盘上二个位置间的切比雪夫距离是 指王要从一个位子移至另一个位子需要走的步 数。由于王可以往斜前或斜后方向移动一格， 因此可以较有效率的到达目的的格子。上图是