. . . . . . . . 17 3.2.3 所有的模型都可调用，就像网络层一样 . . . . . . . . . . . . . . . . . . . . 17 3.2.4 多输入多输出模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.2.5 共享网络层 . . . . . . . . . . . . . 30 3.3.7 为什么训练误差比测试误差高很多？ . . . . . . . . . . . . . . . . . . . . . . 31 3.3.8 如何获取中间层的输出？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.3.9 如何用 Keras 处理超过内存的数据集？ . . . . . batch_size=16) 3.1.5.6 基于栈式 LSTM 的序列分类 在这个模型中，我们将 3 个 LSTM 层叠在一起，使模型能够学习更高层次的时间表示。 前两个 LSTM 返回完整的输出序列，但最后一个只返回输出序列的最后一步，从而降低了 时间维度（即将输入序列转换成单个向量）。 from keras.models import Sequential from keras.layers import

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 6.4 多输入多输出通道 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 6.4.1 多输入通道 多输入通道 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 6.4.2 多输出通道 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 6.4.3 1 × 1 卷积层 . 们不得不自行组装。我们在 16.5节 中详细描述了我们的方法。我们选择GitHub来共享源代码并允许编辑，选 择Jupyter记事本来混合代码、公式和文本，选择Sphinx作为渲染引擎来生成多个输出，并为论坛提供讨论。 虽然我们的体系尚不完善，但这些选择在相互冲突的问题之间提供了一个很好的妥协。我们相信，这可能是 第一本使用这种集成工作流程出版的书。 1 http://distill.pub

经典数据集加载 5.8 MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 力较为有限，而深层的神经网络擅长提取高层、抽象的特征，因此具有更好的性能表现。 针对特定任务 的检测逻辑 输出逻辑 人为设计的 特征检测方法 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 深度学习 图 1.3 深度学习与其它算法比较 根据生物神经元(Neuron) 结构，提出了最早的神经元数学模型，称为 MP 神经元模型。该模型的输出?(?) = ℎ(?(?))，其中?(?) = ∑ ?? ? , ?? ∈ {0,1}，模型通过?(?)的值来完成输出值的预测，如图 1.4 所示。如果?(?) ≥ 0，输出为 1；如果?(?) < 0，输出为 0。可以看到，MP 神经元模型并 没有学习能力，只能完成固定逻辑的判定。 ? ℎ

BP算法 4 1.人工神经网络发展历史 发展历史 1943年，心理学家McCulloch和逻辑学家Pitts建立神经网络的数学模型， MP模型 神经元数学模型 神经元生理结构 输入层 输出层 隐藏层 5 1.人工神经网络发展历史 1960年代，人工网络得到了进一步地发展 感知机和自适应线性元件等被提出。 M.Minsky仔细分析了以感知机为代表的神 经网络的局限性，指出了感知机不能解决 McClelland为首的科学家提出了 BP（Back Propagation）神经 网络的概念，是一种按照误差逆 向传播算法训练的多层前馈神经 网络，目前是应用最广泛的神经 网络。 BP神经网络模型 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b hb qb . . . . . . . . . . . . ,1 ˆky , ˆk j y , ˆk l ELM)，是由黄广斌提出的用于处理单隐层 神经网络的算法 优点： 1.学习精度有保证 2.学习速度快 随机初始化输入权重??和偏置 ，只求解输出权重值??。 1 nx 1 ? ? i  n 1  i L  1  L  ny 1个输出 层神经元 ?个隐藏 层神经元 ?个输入 层神经元 9 2.感知器算法 01 发展历史 02 感知机算法 03 BP算法

token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 在没有transformer的时候，我们 都是用什么来完成这系列的任务 的呢？ 5 1.Transformer介绍 Seq2Seq任务 Seq2Seq 任务指的是输入和输出都是 序列的任务，输出的长度不确定时采 用的模型，这种情况一般是在机器翻 用的模型，这种情况一般是在机器翻 译的任务中出现，将一句中文翻译成 英文，那么这句英文的长度有可能会 比中文短，也有可能会比中文长，所 以输出的长度就不确定了。 上图，输入的中文长度为4，输出的英文长度为2 6 1.Transformer介绍 Encoder-Decoder模型 通常来说，Seq2Seq任务最常见的是使用Encoder+Decoder的模式，先将一个序 列编码成一个上下文矩阵，在使用D Transformer的工作流程 04 BERT 14 2.Transformer的工作流程 从宏观的视角开始 首先将这个模型看成是一个黑箱操作。在机器翻译中，就 是输入一种语言，输出另一种语言。 15 2.Transformer的工作流程 那么拆开这个黑箱，我们可以看到它是由编码组件、解码组件和它们之间的 连接组成。 16 2.Transformer的工作流程 编码组件部分由一堆编

11 1.Tensor张量乘法 1. 二维矩阵乘法 torch.mm() torch.mm(mat1, mat2, out=None) 其中???1 ∈ ℝ?×?,???2 ∈ ℝ?×?, 输出的??? ∈ ℝ?×? 该函数一般只用来计算两个二维矩阵的矩阵乘法，并且不支持 broadcast操作。 12 1.Tensor张量乘法 2. 三维带batch的矩阵乘法 torch.bmm() out=None)乘法首先是进行后两位矩阵乘法得 到(99×11)×(11×99)⇒(99×99)，然后分析两个参数的batch size分别是 (1000×500) 和 500, 可以广播成为 (1000×500)， 因此最终输出的维度是 (1000×500×99×99)。 14 1.Tensors张量乘法 4. 矩阵逐元素(Element-wise)乘法 torch.mul() torch.mul(mat1, other 排除在外。 21 2. Autograd自动求导 Function类 我们已经知道PyTorch使用动态计算图(DAG)记录计算的全过程,DAG的节 点是Function对象，边表示数据依赖，从输出指向输入。因此Function类 在PyTorch自动求导中位居核心地位，但是用户通常不会直接去使用。 每当对Tensor施加一个运算的时候，就会产生一个Function对象，它产生 运算的结

自定义算子实现复杂的网络结构，构建一些特殊的网络模型。 张量跟算子 / 操作数一起构成了计算图，它们是也是计算图的 基本组成要素。 ● 计算图 深度学习是基于计算图完成模型构建，实现数据在各个计算图 节点之间流动，最终输出，因此计算图又被称为数据流图。 根据构建计算图的方式不同还可以分为静态图与动态图， Pytorch 默认是基于动态图的方式构建计算图，动态图采用类 似 python 语法，可以随时运行，灵活修改调整；而静态图则 25, 0, 210], [ 65, 220, 93, 11], [133, 102, 64, 230]]) 其中 v1 是直接输出、v2 首先随机初始化种子之后再输出、 v3 是函数 torch.randint 创建的随机数组，它的前面两个值 0 跟 255 表示整数的取值范围为 0~255 之间，最后一个 (4,4) 表示创建 4x4 大小的数组。 tensor([[ 5.8000], [12.4000]]) 上面得代码中 x 是 a 加 b 的结果，y 是 a 加 b 之和与 c 的矩阵 乘法的最终输出结果。 ● 数据类型转换 在实际的开发过程中，我们经常需要在不同类型的数据张量中 切换，因此数据类型转换函数也是必修的，代码演示如下： m = torch.tensor([1.,2.,3.

在训练过程开始时，我们用随机值初始化这些矩阵。然后我们 开始训练过程。在每个训练步骤中，我们采取一个正样本及其 相关的负样本。我们来看看我们的第一组： 22 3.Word2Vec 训练流程 现在我们有四个单词：输入单词not和输出/上下文单词:( thou实际邻 居）,aaron，和taco（负样本）。我们继续查找它们的嵌入 - 对于输 入词，我们查看Embedding矩阵。对于上下文单词，我们查看Context矩 阵（即使 然后，我们计算输入嵌入与每个上下文嵌入的点积。在每种情况 下，会产生一个数字，该数字表示输入和上下文嵌入的相似性。 24 3.Word2Vec 训练流程 现在我们可以将sigmoid操作的输出视为这些样本的模型输出。 您可以看到taco得分最高aaron，并且在sigmoid操作之前和之后仍 然具有最低分。既然未经训练的模型已做出预测，并且看到我 们有一个实际的目标标签要比较，那么让我们计算模型预测中 通过随机Mask(即遮挡)数据库文本中的 词语或语段，让神经网络自主学习复原被 遮挡部分，从而拥有“猜测”缺失内容的 能力，产出预训练模型。再通过大规模预 训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有