深度学习-Transformer 黄海广 副教授 2 03 Transformer的训练 本章目录 01 Transformer介绍 02 Transformer的工作流程 04 BERT 3 1.Transformer介绍 01 Transformer介绍 03 Transformer的训练 02 Transformer的工作流程 4 1.Transformer介绍 为什么需要用transformer 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 在没有transformer的时候，我们 5 1.Transformer介绍 Seq2Seq任务 Seq2Seq 任务指的是输入和输出都是 序列的任务，输出的长度不确定时采 用的模型，这种情况一般是在机器翻 译的任务中出现，将一句中文翻译成 英文，那么这句英文的长度有可能会 比中文短，也有可能会比中文长，所 以输出的长度就不确定了。 上图，输入的中文长度为4，输出的英文长度为2 6 1.Transformer介绍 Encoder-Decoder模型

1 2023年06月 深度学习-Vision Transformer (ViT) 黄海广 副教授 2 03 模型训练策略 本章目录 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 3 1.背景知识 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 all you need的文章，开创性地提出了 在序列转录领域，完全抛弃 CNN和RNN，只依赖Attention-注 意力结构的简单的网络架构， 名为Transformer；论文实现的 任务是机器翻译。 Transformer结构 Multi-Head Attention Add & Norm Input Embedding Output Embedding Feed Inputs Outputs (shifted right) Positional Encoding Positional Encoding 1.背景知识 6 为什么需要用transformer Transformer原本是用来做 NLP的工作的，所以ViT的 首要任务是将图转换成词 的结构，这里采取的方法 是如上图左下角所示，将 图片分割成小块，每个小 块就相当于句子里的一个 词。这里把每个小块称作

Framework containers are no longer tested on Pascal GPU architectures. ‣ Transformer Engine is a library for accelerating Transformer models on NVIDIA GPUs. It includes support for 8-bit floating point (FP8) inference performance with lower memory utilization. Transformer Engine also includes a collection of highly optimized modules for popular Transformer architectures and an automatic mixed precision-like TransformerXL model: This transformer-based language model has a segment-level recurrence and a novel relative positional encoding. The enhancements that were introduced in Transformer-XL help capture better

预训练模型的发展 31 预训练模型的发展 32 Transformer 资料来源：《Attention Is All You Need》,Ashish Vaswani et.al 2017 ◼ Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、 更易于并行化，所需训练时间明显更少 ◼ Transformer通过成功地将其应用于具有大量和有限训练数据的分 析，可以很好地推广到其他任务 Need》 中提出了一种新的简单架构——Transformer，它完全基于注意力机制， 完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。 ✓ Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基 础。（RNN缺陷正在于流水线式的顺序计算） 图：Transformer模型架构 33 首先通过词嵌入(Word Embedding)将字、词、 增强数据间的结构信息。其次通过Transformer等模式结合 上下文进行推导，生成最终文本。 ◼ Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述

位置编码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410 10.7 Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413 10.7 多 层、残差连接、不同类型的正则化。然而，由于序列的长距离依赖性，训练长短期记忆网络和其他序列模型 （例如门控循环单元）的成本是相当高的。在后面的内容中，我们将讲述更高级的替代模型，如Transformer。 小结 • 长短期记忆网络有三种类型的门：输入门、遗忘门和输出门。 • 长短期记忆网络的隐藏层输出包括“隐状态”和“记忆元”。只有隐状态会传递到输出层，而记忆元完 全属于内部信息。 力是深度学习中的具有突破性价值的注意力模型，它 双向对齐并且可以微分。 最后将描述仅仅基于注意力机制的Transformer架构，该架构中使用了多头注意力（multi‐head attention）和 自注意力（self‐attention）。自2017年横空出世，Transformer一直都普遍存在于现代的深度学习应用中，例 如语言、视觉、语音和强化学习领域。 381 10.1 注意力提示

a similar effect in the world of Natural Language Processing (NLP) (see Figure 1-2), where the Transformer architecture significantly beat previous benchmarks such as the General Language Understanding over the Transformer Encoder architecture that is the leading architecture being used for complex NLP tasks such as translation. The NAS generated architecture, which is named Evolved Transformer8, achieves while incurring the least latency during inference. Figure 1-14: Standard Transformer Encoder block (left), and an Evolved Transformer Encoder block (right). While the former was designed manually, the latter

Normalization: bn, gn, ln?  激活函数: relu, leaky_relu, swish ?  Backbone: resnet, hrnet, mobilenet, transformer?  多任务模型: share-bottom, mmoe, ple?  特征选择/生成: Age, sex, comment, click… 解决方案: 超参搜索 效果提升 模型理解 Blade  推荐模型优化: 千亿特征 3. 工程优化 RingAllReduce + 层级级联 EasyVision 多机多卡性能对比 工程优化: 数据并行  M6模型  Transformer模型: RapidFormer  人脸分类模型: 超大softmax  3D卷积模型 M6模型 RapidFormer性能 工程优化: 模型并行(Whale)  FP16 / 智能标注系统iTags 智能抠图 智能抠图 智能贴合 智能预标注 + 人机协同 解决方案: 自监督学习 Moby: swin-transformer based moco. Image features 推荐模型特征 图像搜索 解决方案: 多模态预训练 Swin transformer based (Violet) VIT Video Fram es Bert Title OCR Cls

mechanism, which forms the backbone of the state of the art NLP model architectures such as the Transformer, which is now showing great promise in computer vision applications as well! Learn Long-Term Dependencies al. introduced a novel architecture called Transformer which achieved state of the art performance for common NLP tasks primarily using attention. A transformer replaces the recurrent units in the RNN Encoder-Decoder and the decoder blocks. Although there are other differences between a RNN Encoder-Decoder and a Transformer, the replacement of recurrent cells with attention layers is the most significant one. The goal

… 6 文本分类方法简史-深度学习 输入 文本 模型训练 模型部署 评测 label 预测标签 RNN CNN LSTM DCNN Attention HAN Transformer Elmo BERT MT-DNN 7 文本分类方法简史-深度学习 神经网络 语言模型 2003  神经网络NLP里程碑： Word2vec 2013 CNN RNN 2014左右

pyTorch More About PyTorch ● Useful github repositories using PyTorch ○ Huggingface Transformers (transformer models: BERT, GPT, ...) ○ Fairseq (sequence modeling for NLP & speech) ○ ESPnet (speech recognition