351 9.4 双向循环神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352 9.4.1 隐马尔可夫模型中的动态规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352 9.4.2 双向模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 9.4.3 双向循环神经网络的错误应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.5 机器翻译与数据集 . . . . . . . . . . 简单网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531 12.5.4 数据同步 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531 12.5.5 数据分发

页面提交： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book/issues ❑ 本书主页，以及源代码，电子书下载，正式版也会在此同步更新： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book ❑ 姊妹书《TensorFlow 深度学习—深入理解人工智能算法设计》： 算法应用在手写数字图片识别上，取得 了巨大成功，这套系统成功商用在邮政编码识别、银行支票识别等系统上；1997 年，现在 应用最为广泛的循环神经网络变种之一 LSTM 被 Jürgen Schmidhuber 提出；同年双向循环 神经网络也被提出。 遗憾的是，神经网络的研究随着以支持向量机(Support Vector Machine，简称 SVM)为 代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬。支持向量机 1974 BP反向传播 Hopfield 网络 1982 1985 Boltzmann 机器 受限Boltzmann 1986 RNN 1986 1986 MLP 1990 LeNet 双向RNN 1997 1997 LSTM 2006 DBN深度 置信网络 图 1.8 浅层神经网络发展时间线 1.2.2 深度学习 2006 年，Geoffrey Hinton

深度学习-序列模型 黄海广 副教授 2 03 长短期记忆(LSTM) 04 双向循环神经网络 本章目录 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 3 03 长短期记忆(LSTM) 04 双向循环神经网络 1.序列模型概述 01 序列模型概述 02 循环神经网络(RNN) 同一层节点之间无关联，从而导致获取时序规则方面功 能不足  循环神经网络可以解决时序问题  基于语言模型（LM），故可以捕捉时序规则信息  它是如何实现的？ 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 8 2.循环神经网络(RNN) ?<1> = 3.2 × 10−13， 而第二句话的概率是： ? The apple and pear salad = 5.7 × 10−10， 15 03 长短期记忆(LSTM) 04 双向循环神经网络 3.长短期记忆(LSTM) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 16 3.长短期记忆(LSTM) L L L L

模式结合 上下文进行推导，生成最终文本。 ◼ Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述 Transformer ✓ 相比于Google的BERT(Bidirectional Encoder Representations from Transformers,双向编码生成Transformer)， GPT仅采用上文 预测单词（BERT采用了基于上下文双向的预测手段）。 注：ChatGPT的表现更贴近人类意图，部分因为一开始GPT是基于上文的预测，这更贴近人类的话语模式，因为人类言语无法基于将来的话来做分析。

02 Transformer的工作流程 04 BERT 4 1.Transformer介绍 为什么需要用transformer 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 上预训练好的算法模型下载方式，这使得所有人都可以通 过它来构建一个涉及NLP的算法模型，节约了大量训练语 言模型所需的时间，精力，知识和资源 51 4.BERT BERT—模型结构 特点： 1.完全的双向， 每一层都是同时关乎上下文 2. transformer 可以对长句子有更强的特征抽取的能力 输入 词嵌入 段嵌入 位置嵌入 52 4.BERT BERT—模型结构 2个BERT的模型都有一个很大的编码器层数，（论 ，512个隐藏层单元，和8个注意头） 53 如何训练BERT 方法1：MLM（Masked Language Modeling） 当前词出现不只是单单依靠上文或者下文，其 实应该是同时依赖于上下文深层的双向RNN会 互相透露信息。 句子中有15%的词汇被随机mask掉 交给模型 去预测被mask的部分到底是什么 词语的可能性太多了，中文一般是字 如果BERT训练的向量好，那分类自然OK 4

��������NDCG ��1%���� • �������������� • 测试集a 语kr工标注gTQuPG VTuVh • 目前最高:215 a0.+x • 固定数据尝试e同模型a • 双向8ST9+/VVHPVLQP 0.+x • 0L5>A GTQRQuV 0.8x • 固定模型尝试VHTO HOEHGGLPg初始化方式a 模型 初始化方式

访问 中国。 地名 人名 地名 国家-总统 (美国,国家-总统,特朗普) 知识图谱关系抽取：基于深度学习 基于参数共享的方法 对于输入句子通过共用的 word embedding 层，然后接双向的 LSTM 层来对输入进行编码。然后分别使用一个 LSTM 来进行命名实体识别 （NER）和一个 CNN 来进行关系分类（RC）。 基于联合标注的方法 把原来涉及到序列标注任务和分类任务的关系抽取完全变成了一个序

Gradient Descent） 梯度下降的每一步中，都用到了所有的训练样本 参数更新 ??: = ?? − ? 1 ? ෍ ?=1 ? ℎ ?(?) − ?(?) ⋅ ?? (?) (同步更新?? ，(j=0,1,...,n )) 梯度 学习率 13梯度下降的三种形式 随机梯度下降（Stochastic Gradient Descent） ? = ? − ? ⋅ ??(?) Descent） 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不 需要首先将所有的训练集求和 参数更新 ??: = ?? − ? ℎ ?(?) − ?(?) ??(?) (同步更新?? ，(j=0,1,...,n )) 15 梯度下降的三种形式 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本 =batch_size，通常是2的指 数倍，常见有32,64,128等。 （小批量梯度下降,MBGD） 参数更新 ??: = ?? − ? 1 ? ෍ ?=? ?+?−1 ℎ ?(?) − ?(?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 16 逻辑回归的梯度下降 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本

Gradient Descent） 梯度下降的每一步中，都用到了所有的训练样本 参数更新 ??: = ?? − ? 1 ? ෍ ?=1 ? ℎ ?(?) − ?(?) ⋅ ?? (?) (同步更新?? ，(j=0,1,...,n )) 梯度 学习率 15梯度下降的三种形式 随机梯度下降（Stochastic Gradient Descent） ? = ? − ? ⋅ ??(?) Descent） 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不 需要首先将所有的训练集求和 参数更新 ??: = ?? − ? ℎ ?(?) − ?(?) ??(?) (同步更新?? ，(j=0,1,...,n )) 17 梯度下降的三种形式 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本 =batch_size，通常是2的指 数倍，常见有32,64,128等。 （小批量梯度下降,MBGD） 参数更新 ??: = ?? − ? 1 ? ෍ ?=? ?+?−1 ℎ ?(?) − ?(?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 18 梯度下降与最小二乘法比较 梯度下降：需要选择学习率?，需要多次迭代，当特征数量?大时也能较 好适用，适用于各种类型的模型。 最小二乘法：不需要选择学习率

=batch_size，通常是2的指 数倍，常见有32,64,128等。 （小批量梯度下降,MBGD） 参数更新 ??: = ?? − ? 1 ? ෍ ?=? ?+?−1 ℎ ?(?) − ?(?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 5 小批量梯度下降 6 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax