，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 深度学习 图 1.1 人工智能、机器学习、神经网络和深度学习 1.1.2 机器学习 机器学习可以分为有监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning，简称 RL)，如图 1.2 所示。 机器学习 有监督学习 无监督学习 强化学习 图 1.2 机器学习的分类 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 深度学习 图 1.3 深度学习与其它算法比较 1.2 神经网络发展简史 本书将神经网络的发展历程大致分为浅层神经网络阶段和深度学习两个阶段，以 2006 年为大致分割点。2006 年以前，深度学习

前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . 预训练BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699 14.10.2 用BERT表示文本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701 15 自然语言处理：应用 良好的工具的支持。关键思想应该被清楚地提炼出来，尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。

. . . 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 例一：全连接网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.3 所有的模型都可调用，就像网络层一样 . . . . . . . . . . . . . . . . . . . . . 152 11.2.1 例: 记录损失历史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 11.2.2 例: 模型检查点 . . . . . . . . . . . . . . . . . . . . . . . . 243 21.6 添加新的样例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244 KERAS: 基于 PYTHON 的深度学习库 1 1 Keras: 基于 Python 的深度学习库 1.1 你恰好发现了 Keras Keras 是一个用 Python 编写的高级神经网络

深度学习：98%，1%，1% （假设百万条数据） 1.数据集划分 数据集 训练集 验证集 测试集 5 交叉验证 1. 使用训练集训练出k个模型 2. 用k个模型分别对交叉验证集计算得 出交叉验证误差（代价函数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出 推广误差（代价函数的值） 6 数据不平衡是指数据集中各类样本数量不均衡的情况. 常用不平衡处理方法有采样和代价敏感学习 Precision + Recall 11 评价指标 有100张照片，其中，猫的照片有60张，狗的照片是40张。 输入这100张照片进行二分类识别，找出这100张照片中的所有的猫。 正例（Positives）：识别对的 负例（Negatives）：识别错的 预测值 Positive Negtive 实际值 Positive TP=40 FN=20 Negtive FP=10 TN=30 识别结果的混淆矩阵 识别出的正例 TP+FP 40+10=50 识别出的负例 TN+FN 30+20=50 总识别样本数 TP+FP+TN+FN 50+50=100 识别对了的正例与负例 真正例+真负例=TP+TN 40+30=70 识别错了的正例与负例 伪正例+伪负例=FP+FN 10+20=30 实际总正例数量 真正例+伪负例=TP+FN 40+20=60 实际总负例数量 真负例+伪正例=TN+FP

深度学习的背景知识 04 深度学习的开发流程 4 深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器学习：计算机利用已有的数 据(经验)，得出了某种模型，并利 用此模型预测未来的一种方法。 深度学习：实现机器学习的一种 技术 5 杨立昆（Yann LeCun） 杰弗里·欣顿（Geoffrey Hinton） 本吉奥（ Bengio ） 共同获得了2018年计算机科学的最高奖项 我自己以为我做的事情 实际上我做的事情 10 通过这张图可以看出， 各种不同算法在输入的 数据量达到一定级数后 ，都有相近的高准确度 。于是诞生了机器学习 界的名言： 成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 11 深度学习-CV（计算机视觉方向） 图像获取 提取二维图像 、三维图组、 图像序列或相 关的物理数据 ，如声波、电 磁波或核磁 磁波或核磁 共振的深度、 吸收度或反射 度 预处理 对图像做一 种或一些预 处理，使图 像满足后继 处理的要 求 ，如：二次 取样保证图 像坐标的正 确，平滑、 去噪等 特征提取 从图像中提取 各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 内容，用于后继 处理， 如：筛 选特征点，分割

构 为什么要降维 8 1.降维概述 1.减少冗余特征，降低数据维度 2.数据可视化 降维的主要作用 9 1.降维概述 减少冗余特征 假设我们有两个特征： ?1:长度用厘米表示的身高；?2：是用英寸表示的身高。 这两个分开的特征?1和?2，实际上表示的内容相同，这样其实可 以减少数据到一维，只有一个特征表示身高就够了。 很多特征具有线性关系，具有线性关系的特征很多都是冗余的特 存放， 而且奇异值的减少特别的快，在很多情况下，前 10%甚至 1%的奇异值的和 就占了全部的奇异值之和的 99%以上的比例。 也就是说，对于奇异值，它跟我们特征分解中的特征值类似，我们也可以用 最大的 ? 个的奇异值和对应的左右奇异向量来近似描述矩阵。 也就是说： ??×? = ??×???×???×? T ≈ ??×???×???×? T 28 2.SVD(奇异值分解) ? 奇异值 ?? ?? T 左奇异矩阵 右奇异矩阵 ≈ 如图所示，现在我们的矩阵? 只 需要黄色的部分的三个小矩阵就 可以近似描述了。 其中 ? 要比 ?小很多，也就是一个大的矩阵?可以用三个小的矩阵 ??×?, σ ?×? , ??×? T 来表示。 · · 29 2.SVD(奇异值分解) SVD案例 原始图像 处理后的图像 原始维度? = 575 × 1081 × 3

我们使用符号 （或 , 等）来表示第 行和第 列中的 的元素： 我们用 或者 表示矩阵 的第 列： 我们用 或者 表示矩阵 的第 行： 在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上 操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通 用约定。 2.矩阵乘法 两个矩阵相乘，其中 and ，则： 的列的线性组合，其中线性组合的系数由 的元素给出。 到目前为止，我们一直在右侧乘以列向量，但也可以在左侧乘以行向量。 这是写的， 表示 ， ， 。 和以前一样，我们可以用两种可行的方式表达 ，这取决于我们是 否根据行或列表达 . 第一种情况，我们把 用列表示： 这表明 的第 个元素等于 和 的第 列的内积。 最后，根据行表示 ，我们得到了向量-矩阵乘积的最终表示: 所以我们看到 是 的行的线性组合，其中线性组合的系数由 ， ， ， ，所以它们可以计算内积。 我们用通常用行表示 而用列表示 。 或者，我们可以用列表 示 ，用行表示 ，这时 是求外积的和。公式如下： 换句话说， 等于所有的 的第 列和 第 行的外积的和。因此，在这种情况下， 和 ， 外积 的维度是 ，与 的维度一致。 其次，我们还可以将矩阵 - 矩阵乘法视为一组矩阵向量积。如果我们把 用列表示，我们可以将 的列 视为 和 的列的矩阵向量积。公式如下：

、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非 甲状腺疾病的数据集应用无监督学习时，可 以使用聚类算法来识别甲状腺疾病数据集。 8 1.无监督学习方法概述 聚类案例 2.市场细分 为了吸引更多的客户，每家公司都在开发易 不再改变自己的位置，并且成为静态的。一 旦这样做，k-均值算法被称为收敛。 设训练集为：{?(1), ?(2), ?(3), … , ?(?)}，簇划分? = {?1, ?2, ⋯ , ??}，用?1, ?2, . . . , ??来表示聚类中心 其中??(?)代表与?(?)最近的聚类中心点。 我们的的优化目标便是找出使得代价函数最小的 ?(1),?(2),...,?(?)和 ?1, ?2 向作业区域，在作业区 域拖网作业，一个航次 结束，全速驶向渔港， 我 们 设 计 了 一 种 基 于 DBSCAN和K-means的 混合FindPort算法 典型的单拖船一年的轨迹图 FindPort算法计算的渔港图 密度聚类应用 通过单拖船轨迹推算港口范围 38 层次聚类 层次聚类 ⚫ 层次聚类假设簇之间存在层次结构，将样本聚到 层次化的簇中。 ⚫ 层次聚类又有聚合聚类（自下而上）、分裂聚类

第二步，你可以用这些词嵌入模型把它迁移到你的新的只有少量标注训练集的任 务中，比如说用这个300维的词嵌入来表示你的单词。这样做的一个好处就是你 可以用更低维度的特征向量代替原来的10000维的one-hot向量，现在你可以用 一个300维更加紧凑的向量。 第三步，当你在你新的任务上训练模型时，在你的命名实体识别任务上，只有少 量的标记数据集上，你可以自己选择要不要继续微调，用新的数据调整词嵌入。 0.02 0.02 0.01 = −2 −0.01 0.01 0.08 ≈ −2 0 0 0 这个结果表示，man和woman主要的差异是gender（性别）上的差异 类似的，假如你用?king减去?queen，最后也会得到一样的结果 12 2.词嵌入 嵌入矩阵 13 2.词嵌入 嵌入矩阵 14 3.Word2Vec 03 Word2Vec 04 GloVe _size是他们的维度 之一）。第二个维度是我们希望每次嵌入的时间长度（embedding_size- 300是一个 常见值）。 21 3.Word2Vec 训练流程 在训练过程开始时，我们用随机值初始化这些矩阵。然后我们 开始训练过程。在每个训练步骤中，我们采取一个正样本及其 相关的负样本。我们来看看我们的第一组： 22 3.Word2Vec 训练流程 现在我们有四个单词：输入单词not和输出/上下文单词:(

机器学习的背景知识 04 机器学习的开发流程 4 机器学习与人工智能、深度学习的关系 人工智能：机器展现的人类智能 机器学习：计算机利用已有的数 据(经验)，得出了某种模型，并利 用此模型预测未来的一种方法。 深度学习：实现机器学习的一种 技术 人工智能 机器学习 深度学习 5 杨立昆（Yann LeCun） 杰弗里·欣顿（Geoffrey Hinton） 本吉奥（ Bengio 基于参数模型构建的统计 学习问题都为最优化问题，它们都具有显式的解析解。 现有的优化方法主要有：梯度下降法、牛顿法、拟牛顿法、ADAM等等。具体 的算法，我们会在各自章节中介绍。其中本课程中，用梯度下降法作为主要的 优化算法。 26 机器学习的概念-模型评估 当损失函数给定时，我们将基于模型训练数据的误差(Training Error)和测试数据的 误差(Testing Error)作为模型评估的标准。 … … ?1? ?2? … ??? = (???) = (???)T 行列式的性质 单位阵的行列式为1，det(?) = 1. ⚫ 行列式的某一行（列）的所有的元素都乘以 同一数?，等于用数?乘此行列式。 ⚫ ? ∈ ℝ?×?, det(?) = det(?T). ⚫ ?, ? ∈ ℝ?×?, det(??) = det(?)det(?) ⚫ 当且仅当?为奇异方阵时，det(?)