1 重新审视过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.6.2 扰动的稳健性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 4.6.3 实践中的暂退法 . . 掩蔽softmax操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 10.3.2 加性注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 10.3.3 缩放点积注意力 428 11.1.2 深度学习中的优化挑战 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429 11.2 凸性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。 总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 4 个部份：第 1~3 章为第 1 部分，主要介绍人工智能的初 概念以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出 现在 1956 年召开的达特茅斯会议上。这是一项极具挑战性的任务，人类目前尚无法对人脑 的工作机制有全面、科学的认知，希望能制造达到人脑水平的智能机器无疑是难于上青 天。即使如此，在某个方面呈现出类似、接近甚至超越人类智能水平的机器被证明是可行 的。 怎 3 所示。基于规则的系 统一般会编写显式的检测逻辑，这些逻辑通常是针对特定的任务设计的，并不适合其他任 务。传统的机器学习算法一般会人为设计具有一定通用性的特征检测方法，如 SIFT、HOG 特征，这些特征能够适合某一类的任务，具有一定的通用性，但是如何设计特征，以及特 征方法的优劣性非常的关键，同时也比较困难。神经网络的出现，使得人为设计特征这一 部分工作可以让机器自动完成学习，不需要人类干预。但是浅层的神经网络的特征提取能

概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 2.2 概率质量函数 2.3 概率密度函数 2.4 期望 2.5 方差 2.6 一些常见的随机变量 3. 两个随机变量 3.1 联合分布和边缘分布 3.2 联合概率和边缘概率质量函数 3.3 联合概率和边缘概率密度函数 3.4 条件概率分布 3.5 贝叶斯定理 3.6 独立性 3.7 期望和协方差 4 是一些互不相交的事件并且它们的并集是 ，那么它们的概率之 和是1 1.1 条件概率和独立性 假设 是一个概率非0的事件，我们定义在给定 的条件下 的条件概率为： 换句话说， )是度量已经观测到 事件发生的情况下 事件发生的概率，两个事件被称为独立事件 当且仅当 （或等价地， )。因此，独立性相当于是说观察到事 件 对于事件 的概率没有任何影响。 2. 随机变量 考虑一个实验，我们 ，那 么 只能取有限数量的值，因此它被称为离散随机变量。这里，与随机变量 相关联的集合取某个 特定值 的概率为： 图1：一个累计分布函数(CDF) 举例： 假设 是一个随机变量，表示放射性粒子衰变所需的时间。在这种情况下， 具有无限多的可能 值，因此它被称为连续随机变量。我们将 在两个实常数 和 之间取值的概率(其中 )表示为： 2.1 累积分布函数 为了指定处理随机变量时使

强调通过特征转换的方式得 到一组具有明显物理或统计 意义的特征 ➢ 有时能发现更有意义的特征 属性 ➢ 从特征集合中挑选一组具 有明显物理或统计意义的 特征子集 ➢ 能表示出每个特征对于模 型构建的重要性 特征提取VS特征选择 1. 相关概念 7 2. 特征构建 01 相关概念 02 特征构建 03 特征提取 04 特征选择 8 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J] ? 处理后的数据均值为0，方差为1 数据归一化的目的是使得各特征对目标变 量的影响一致，会将特征数据进行伸缩变 化，所以数据归一化是会改变特征数据分 布的。 数据标准化为了不同特征之间具备可比性 ，经过标准化变换之后的特征数据分布没 有发生改变。 就是当数据特征取值范围或单位差异较大时 ，最好是做一下标准化处理。 数据规范化 使不同规格的数据转换到同一规格。 2. 特征构建 10 定量特征二值化 ICA(Independent Component Analysis，独立成分分析) ICA独立成分分析，获得的是相互独立的属性。ICA算法本质寻找一 个线性变换 ? = ??，使得 ? 的各个特征分量之间的独立性最大。 PCA 对数据 进行降维 ICA 来从多 个维度分离 出有用数据 步骤 PCA 是 ICA 的数据预处理方法 降维 3. 特征提取 20 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J]

可以使用聚类。聚类将帮助公司了解用户群 ，然后对每个客户进行归类。这样，公司就 可以了解客户，发现客户之间的相似之处， 并对他们进行分组。 9 1.无监督学习方法概述 聚类案例 3.金融业 银行可以观察到可能的金融欺诈行为，就此 向客户发出警告。在聚类算法的帮助下，保 险公司可以发现某些客户的欺诈行为，并调 查类似客户的保单是否有欺诈行为。 10 1.无监督学习方法概述 聚类案例 4 DBSCAN密度聚类 与划分和层次聚类方法不同，DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。它将簇 定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并 可在噪声的空间数据库中发现任意形状的聚类。 密度：空间中任意一点的密度是以该点为圆心，以扫描半径构成的圆区域内包 minPts=10 eps=0.4 minPts=10 eps=0.3 minPts=6 估计的簇的数量 3 12 1 2 估计的噪声点 18 516 2 13 同一性 0.9530 0.3128 0.0010 0.5365 完整性 0.8832 0.2489 0.0586 0.8623 V-measure 0.9170 0.0237 0.0020 0.6510 ARI 0.9517 0.2673

向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4 将矩阵乘法剖析到如此大的程度似乎有点过分，特别是当所有这些观点都紧跟在我们在本节开头给出的 初始定义（在一行数学中）之后。 这些不同方法的直接优势在于它们允许您在向量的级别/单位而不是标量上进行操作。 为了完全理解线 性代数而不会迷失在复杂的索引操作中，关键是要用尽可能多的概念进行操作。 实际上所有的线性代数都处理某种矩阵乘法，花一些时间对这里提出的观点进行直观的理解是非常必要 的。 除此之外，了解一些更高级别的矩阵乘法的基本属性是很有必要的： 矩阵乘法通常不是可交换的; 也就是说，通常 。 （例如，假设 ， ，如果 和 不相等，矩阵乘积 甚至不存在！） 如果您不熟悉这些属性，请花点时间自己验证它们。 例如，为了检查矩阵乘法的相关性，假设 ， ， 。 注意 ，所以 。 类似地， ，所以 。 因此，所得矩阵的维度一致。 为了表明矩阵乘法是相关的，足 以检查 的第 个元素是否等于 的第 个元素。 我们可以使用矩阵乘法的定义直接

基础，故统称为贝叶斯分类。 根据以往经验和分析得到的概率。我们用?(?)来代表在没有训练 数据前假设?拥有的初始概率。 根据已经发生的事件来分析得到的概率。以?(?|?)代表假设? 成 立的情下观察到?数据的概率，因为它反映了在看到训练数据? 后?成立的置信度。 贝叶斯分类： 5 联合概率是指在多元的概率分布中多个随机变量分别满足各自条 件的概率。?与?的联合概率表示为? ?, ? 、 )和?(?)的估计，得到 联合概率分布： ?(?, ?)＝?(?)?(?|?) 概率估计方法可以是极大似然估计或贝叶斯估计。 10 2.朴素贝叶斯原理 2．朴素贝叶斯法的基本假设是条件独立性。 P(X = x|Y = ck) = P x(1), ⋯ , x(n)|yk = ςj=1 n P x(j)|Y = ck ck代表类别，k代表类别个数。 这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减 (50000)|?) = ?(?(1)|?)?(?(2)|?)?(?(3)|?) ⋯ ?(?(50000)|?) = ෑ ?=1 ? ? (?(?)|?) 13 2.朴素贝叶斯原理 独立性 将输入?分到后验概率最大的类?。 ? = argmax ?? ? ? = ?? ෑ ?=1 ? ? ?? = ?(?)|? = ?? 后验概率最大等价于0-1损失函数时的期望风险最小化。

…… …… …… …… ? 代表训练集中样本的数量 ? 代表特征的数量 ? 代表特征/输入变量 ? 代表目标变量/输出变量 ?, ? 代表训练集中的样本 (?(?), ?(?)) 代表第?个观察样本 ℎ 代表学习算法的解决方案或函 数也称为假设（hypothesis） ෝ? = ℎ(?),代表预测的值 ? ? 是特征矩阵中的第?行，是一个向量。 上图的： ?? ? 代表特征矩阵中第 ，不适合逻辑回归模型等其他模型。 19 数据归一化/标准化 ?1 ?2 梯度 ?1 ?2 梯度 为什么要标准化/归一化？ 提升模型精度：不同维度之间的 特征在数值上有一定比较性，可 以大大提高分类器的准确性。 加速模型收敛：最优解的寻优过 程明显会变得平缓，更容易正确 的收敛到最优解。 20 数据归一化/标准化 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max 处理后的数据均值为0，方差为1 数据归一化的目的是使得各特征对 目标变量的影响一致，会将特征数 据进行伸缩变化，所以数据归一化 是会改变特征数据分布的。 数据标准化为了不同特征之间具备 可比性，经过标准化变换之后的特 征数据分布没有发生改变。 就是当数据特征取值范围或单位差异 较大时，最好是做一下标准化处理。 21 数据归一化/标准化 需要做数据归一化/标准化 线性模型，如基于距

← ??ℎ + ??ℎ?? 24 3.BP算法 第七步，引出结论 观察 ??? ??ℎ = ?ℎ (1 − ?ℎ) σ?=1 ? ???ℎ?，可知 隐层阈值梯度取决于隐层神经元输出、输出层阈值梯度和隐层与输出层的连接权值。 在阈值的调整过程中，当前层的阈值梯度取决于下一层的阈值，这就是BP算法的精髓。 观察 ??? ??ℎ? = −???ℎ，可知 当前层的连接权值梯度，取决于当前神经元阈值梯度和上层神经元输出。

net(input) loss = criterion(output, target) # 计算损失 loss.backward() # 反向传播 optimizer.step() # 更新参数 注意 观察如何使用 optimizer.zero_grad() 手动将梯度缓冲区设置为零。 原文链接：pytorch 入门笔记 -03- 神经网络 这是因为梯度是按 Backprop 部分中的说明累积的。