. . . . . . . . . . . . . . . . . . . . . . 15 3.1 模型的加载与保存 15 3.2 初始化网络权重-方法一 16 3.3 初始化网络权重-方法二和三 17 4 构建自己的数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . pytorch 6 1.2 导入样本数据 7 本章节将神经网络训练之前的准备工作进行全面介绍。但我们并不介绍如何安装 pytorch，一是由 于不同版本的 pytorch 会依赖于不同的 cuda 工具，二是因为官网资料非常齐全，也有很多博客来 介绍，因此没有必要赘述。 1.1 导入 pytorch 首先我们需要明白一个术语：tensor。这个词被翻译为中文叫张量。1 维标量是一种 tensor； torch . from_numpy( np_array1 ) print ( data_tensor . shape ) 输出都是： torch . Size ( [ 2 , 2 ] ) 对于二维 tensor 之间的相乘，@ 和 .matmul 函数表示矩阵相乘；∗ 和 .mul 表示矩阵元素之 间相乘： 6 Chapter 1. 准备章节 7 y = data_tensor @ data_tensor

能够将任何输入特征映射到标签（即预测）。 举一个具体的例子：假设我们需要预测患者的心脏病是否会发作，那么观察结果“心脏病发作”或“心脏病 没有发作”将是样本的标签。输入特征可能是生命体征，如心率、舒张压和收缩压等。 监督学习之所以能发挥作用，是因为在训练参数时，我们为模型提供了一个数据集，其中每个样本都有真实 的标签。用概率论术语来说，我们希望预测“估计给定输入特征的标签”的条件概率。虽然监督学习只是几大 on）问题。分类问题希望模型能够预 测样本属于哪个类别（category，正式称为类（class））。例如，手写数字可能有10类，标签被设置为数字0～ 9。最简单的分类问题是只有两类，这被称之为二项分类（binomial classification）。例如，数据集可能由动 物图像组成，标签可能是{�, �}两类。回归是训练一个回归函数来输出一个数值；分类是训练一个分类器来 输出预测的类别。 为0.2 × ∞ + 0.8 × 0 = ∞，而丢弃蘑菇的损失为0.2 × 0 + 0.8 × 1 = 0.8。事实上，谨慎是有道理的，图1.3.2中 的蘑菇实际上是一个死帽蕈。 分类可能变得比二项分类、多项分类复杂得多。例如，有一些分类任务的变体可以用于寻找层次结构，层次 结构假定在许多类之间存在某种关系。因此，并不是所有的错误都是均等的。人们宁愿错误地分入一个相关 的类别，也不愿错误地

机器学习-线性代数回顾 黄海广 副教授 2 目录 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 3 1.行列式 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 4 (1) 设? = ??? ?×?，则：? ) 设?是?阶方阵，??(? = 1,2 ⋯ , ?)是?的?个特征值，则 |?| = ς?=1 ? ?? 6 2.矩阵 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 7 ? × ?个数???排成?行?列的表格 ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ −1 ； ? ? ? ? −1 = ? ?−1 ?−1 ? 这里?，?均为可逆方阵。 2.矩阵 14 2.矩阵 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 15 3.向量 1.有关向量组的线性表示 (1) ?1, ?2, ⋯ , ??线性相关 ⇔至少有一个向量可以用其余向量线性表示。

3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。 1.1 基本符号 ，它是反对称的。 很容易证明，对于任 何矩阵 ，矩阵 是对称的，矩阵 是反对称的。 由此得出，任何方矩阵 可以表示为对称矩阵和反对称矩阵的和，所以： 上面公式的右边的第一个矩阵是对称矩阵，而第二个矩阵是反对称矩阵。 事实证明，对称矩阵在实践中 用到很多，它们有很多很好的属性，我们很快就会看到它们。 通常将大小为 的所有对称矩阵的集合表 示为 ，因此 意味着 是对称的 矩阵; 3.4 矩阵的迹

′(?)由“-”变“+”，则?(?0)为极小值； 机器学习的数学基础 7 (3)若? ′(?)经过? = ?0的两侧不变号，则?(?0)不是极值。 Th4: (取极值的第二充分条件)设?(?)在点?0处有?″(?) ≠ 0，且? ′(?0) = 0，则： 当?′ ′(?0) < 0时，?(?0)为极大值； 当?′ ′(?0) > 0时，?(?0)为极小值. 注：如果 ?| = |?? − ?|，?, ?不一定相似 二次型 1.?个变量??, ??, ⋯ , ??的二次齐次函数 机器学习的数学基础 17 ?(?1, ?2, ⋯ , ??) = ∑ ∑ ??????? ? ?=1 ? ?=1 ，其中??? = ???(?, ? = 1,2, ⋯ , ?)，称为?元二次型，简 称二次型. 若令? = [ ?1 ?1 ⋮ ?? ] ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ???] ,这二次型?可改写成矩阵向量形 式? = ????。其中?称为二次型矩阵，因为??? = ???(?, ? = 1,2,⋯ , ?)，所以二次型矩阵均为 对称矩阵，且二次型与对称矩阵一一对应，并把矩阵?的秩称为二次型的秩。 2.惯性定理，二次型的标准形和规范形 (1) 惯性定理 对于任一二次型，不论选取怎样

等均以 PyTorch 为基础开发，可见掌握 PyTorch 框架在人工智能行 业中的重要地位。 本书基于清华大学出版社出版的《TensorFlow 深度学习—深入理解人工智能算法》一书 进行二次撰写，代码部分完全基于 PyTorch 进行实现。考虑到本人能力有限、行文仓促，可 以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本 BP 算法来进行表征学习的论文， BP 算法才获得了广泛的关注。 1982 年，随着 John Hopfild 的循环连接的 Hopfield 网络的提出，开启了 1982 年~1995 年的第二次人工智能复兴的大潮，这段期间相继提出了卷积神经网络、循环神经网络、反 向传播算法等算法模型。1986 年，David Rumelhart 和 Geoffrey Hinton 等人将 BP 算法应用 在多层感知机上；1989 提出；同年双向循环 神经网络也被提出。 遗憾的是，神经网络的研究随着以支持向量机(Support Vector Machine，简称 SVM)为 代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬。支持向量机 拥有严格的理论基础，训练需要的样本数量较少，同时也具有良好的泛化能力，相比之 下，神经网络理论基础欠缺，可解释性差，很难训练深层网络，性能也相对一般。图 1.8 绘制了 1943 年~2006

历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 torch 框架，第二个是 Chainer，实 现了 Eager 模式与自动微分，Pytoch 集成了这两个框架的优 点， 把 Python 语言作为框架的首选编程语言，所以它的名字 是在 torch 的前面加上 Py 命令行模式） 如果显示图 1-2 所示的信息表示已经安装成功 Python 语言包 支持；如果输入 Python 之后显示信息为“'python' 不是内部 或外部命令，也不是可运行的程序”则说明第二步中没有勾选 上“add Python3.6 to PATH”，此时请手动把 python.exe 所 在路径添加到 Windows 系统的环境变量中去之后再次执行 即可。 4. 安装好 Python 行代码，执 行结果如下： >>> import torch >>> torch._ _version_ _ '1.9.0+cu102' 其中第一行表示导入 pytorch 的包支持，第二行表示版本查询， 第三行是执行结果（GPU 版本）。 现在很多开发者喜欢使用 Ubuntu 开发系统，在 Ubuntu 系统 下如下正确安装与配置 Pytorch，第一步同样是安装 python

. . . . . . . 10 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.3 类似 VGG 的卷积神经网络： . . . . . . . . . . . . Square 等众多网站上使用。它尤其受以深度学习作为产品核心的创业公司的欢迎。 Keras 也是深度学习研究人员的最爱，在上载到预印本服务器 arXiv.org 的科学论文中被提 及的次数位居第二。Keras 还被大型科学组织的研究人员采用，特别是 CERN 和 NASA。 2.3 Keras 可以轻松将模型转化为产品 与任何其他深度学习框架相比，你的 Keras 模型可以轻松部署在更广泛的平台上： 多分类问题 model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy']) # 二分类问题 model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy']) # 均方误差回归问题

)分布函数?(?) = ׬−∞ ? ?(?)?? 2.随机变量及其概率分布 17 5.常见分布 (1) 0-1分布:?(? = ?) = ??(1 − ?)1−?, ? = 0,1 (2) 二项分布:?(?, ?)： ?(? = ?) = ?????(1 − ?)?−?, ? = 0,1, ⋯ , ? (3) Poisson分布:?(?)： ?(? = ?) = ?? ?! ?−?, 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 22 1.二维随机变量及其联合分布 由两个随机变量构成的随机向量(?, ?)， 联合分布为?(?, ?) = ?(? ≤ ?, ? ≤ ?) 2.二维离散型随机变量的分布 (1) 联合概率分布律 ?{? = ??, ? = ??} = ???; ?, ? = 1,2, ⋯ (2) = 1,2, ⋯ (3) 条件分布律 ?{? = ??|? = ??} = ??? ?⋅? ?{? = ??|? = ??} = ??? ??⋅ 3.多维随机变量及其分布 23 3. 二维连续性随机变量的密度 (1) 联合概率密度?(?, ?): 1) ?(?, ?) ≥ 0 2) ׬−∞ +∞ ׬−∞ +∞ ?(?, ?)???? = 1 (2) 分布函数：?(?, ?)

第六部分 实战 TensorFlow 验证码识别 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 准备模型开发环境 • 生成验证码数据集 • 输入与输出数据处理 • 模型结构设计 • 模型损失函数设计 • 模型训练过程分析 • 模型部署与效果演示 第六部分 目录 准备模型开发环境 第三方依赖包 数据集生成 • Pillow • captcha 确 率大概是15%，但是攻击者可以每天尝试10万次，相对来说成本很低。而在2008年， Google的CAPTCHA也被俄罗斯黑客所破解。攻击者使用两台不同的计算机来调整破解进 程，可能是用第二台计算机学习第一台对CAPTCHA的破解，或者是对成效进行监视。 https://zh.wikipedia.org/wiki/captcha 验证码（CAPTCHA）演进 https://zh.wikipedia 交叉熵（Cross-Entropy, CE） 我们使用交叉熵作为该模型的损失函数。 虽然 Categorical / Binary CE 是更常用的损失函数，不过他们都是 CE 的变体。 CE 定义如下： 对于二分类问题 (C‘=2) ，CE 定义如下： Categorical CE Loss（Softmax Loss） 常用于输出为 One-hot 向量的多类别分类（Multi-Class Classification）模型。