vec] ▪ h/c: [num_layer, b, h] ▪ out: [seq, b, h] nn.LSTM nn.LSTMCell ▪ __init__ LSTMCell.forward() ▪ ht, ct = lstmcell(xt, [ht_1, ct_1]) ▪ xt: [b, vec] ▪ ht/ct: [b, h] Single layer Two Layers 下一课时

RNN Layer使用 主讲人：龙良曲 Folded model feature ??@??ℎ + ℎ?@?ℎℎ [0,0,0 … ] x: ??? ???, ????ℎ, ??????? ??? ????ℎ, ??????? ??? @[ℎ????? ???, ??????? ???]?+ ????ℎ, ℎ????? ??? @ ℎ????? ???, ℎ????? ??? ? layers, b, h dim] ▪ out: [seq len, b, h dim] Single layer RNN feature ??@??ℎ 1 + ℎ? 1@?ℎℎ 1 [0,0,0 … ] ℎ? 1@??ℎ 2 + ℎ? 2@?ℎℎ 2 [0,0,0 … ] 2 layer RNN [T, b, h_dim], [layers, b, h_dim] nn.RNNCell

saw earlier the points are linearly separable. We can train a model with a single fully connected layer followed by a softmax activation, since it is a binary classification task. An important caveat is fourth step, we train a model which trains the embedding table along with it. We use a single hidden layer network9 with a softmax classification head for this task. The size of the softmax classification apply in our case here. Step 1: Vocabulary Creation In this step, we will use a TextVectorization layer from Tensorflow to create a vocabulary of the most relevant words. It finds the top N words in a dataset

考虑到后续内容出现的 Transformer Layer 就是 Transformer 的编码层，这里先对 它做简单的介绍。它主要由以下两部分组成： 算法 < 25 Multi-Head Attention Multi-Head Attention 实际上是 h 个 Self-Attention 的集成， h 代表头的个数。其 中 Self-Attention 的计算公式如下： 其中，Q 代表查询，K Feed-Forward Networks 该模块是为了提高模型的非线性能力提出来的，它就是全连接神经网络结构，计算公 式如下： 26 > 美团 2020 技术年货 Transformer Layer 就是通过这种自注意力机制层和普通非线性层来实现对输入信号 的编码，得到信号的表示。 美团搜索排序 Transformer 实践经验 Transformer 在美团搜索排序上的实践主要分以下三个部分：第一部分是特征工程， 在搜索排序系统中，特征工程的输入特征维度高但稀疏性很强，而准确的交叉特征对 模型的效果又至关重要。所以寻找一种高效的特征提取方式就变得十分重要，我们借 鉴 AutoInt[3] 的方法，采用 Transformer Layer 进行特征的高阶组合。 模型结构 我们的模型结构参考 AutoInt[3] 结构，但在实践中，根据美团搜索的数据特点，我们 对模型结构做了一些调整，如下图 2 所示： 图 2 Transformer&Deep

从编码器输入的句子首先会经过一个自注意力（self-attention）层，这层帮助编码器在对每 个单词编码时关注输入句子的其他单词。 自注意力层的输出会传递到前馈（feed-forward）神经网络中。每个位置的单词对应的前馈 神经网络都完全一样（译注：另一种解读就是一层窗口为一个单词的一维卷积神经网络）。 解码器中也有编码器的自注意力（self-attention）层和前馈（feed-forward）层。除此之外， Embedding，否则 Transformer 就是一个词袋模型了。 •Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输 出进行线性变换得到。 •Transformer 中 Multi-Head Attention 中有多个 Self-Attention，可以捕获单 词之间多种维度上的相关系数 attention 分数。 47 4.BERT

2164, -3.2164]]) 其中?和?张量均是矩阵，上述代码实现了一个线性变换的网络层，激活函数为空。一般 地，?(?@? + ?)网络层称为全连接层(Fully Connected Layer)，在 PyTorch 中可以通过 Linear 类直接实现，特别地，当激活函数?为空时，全连接层也称为线性层。比如，通过 Linear 类创建输入 4 个节点，输出 3 个节点的网络层，并通过全连接层的 Processing，简称 NLP)中句子的表示，如评价句 子的是否为正面情绪的情感分类任务网络，如图 4.3 所示。为了能够方便字符串被神经网 络处理，一般将单词通过嵌入层(Embedding Layer)编码为固定长度的向量，比如“a”编码 为某个长度 3 的向量，那么 2 个等长(单词数量为 5)的句子序列可以表示为 shape 为[2,5,3] 的 3 维张量，其中 2 表示句子个数，5 表示单词数量，3 创建卷积神经网络 layer = nn.Conv2d(3, 16, kernel_size=3) out = layer(x) # 前向计算 out.shape # 输出大小 Out[48]: torch.Size([4, 16, 30, 30]) 其中卷积核张量?也是 4 维张量，可以通过 weight 成员变量访问： In [49]: layer.weight.shape

模型，该架构相比传统的 RNN（递归神经网络）和 LSTM（长短时记忆网络）具有更高的训练效率和 更强的长距离依赖建模能力。Transformer 由多个关键组件组成：1. 自注意 力机制（Self-Attention）：模型在处理文本时，会自动关注句子中的重要单 词，理解不同词语间的联系。2. 多头注意力（Multi-Head Attention）：使用 多个注意力头同时分析不同的语义信息，使得模型的理解能力更强。3

< 29 图 9 PTQ 与 QAT 子图区别 QAT INT8 计算图中 neck.reduce_layer1.conv 融合节点输出精度是 FP32，并 且跟了 2 个 quantize_scale_node 节点，而 PTQ INT8 图中的 neck.reduce_ layer1.conv 融合节点输出的是 INT8。很显然，QAT 图中 FP32 和 INT8 之间的转 换会带来额外的开销。我们又利用 QAT INT8 的 ONNX 图结构，找 到了 neck.reduce_layer1.conv 这个位置，图 10 给出该节点示意。 图 10 因 Scale 不同而产生了双分支 30 > 2022年美团技术年货 通过分析 ONNX 图结构，我们发现了 QAT INT8 引擎中 neck.reduce_layer1. conv 输出为 FP32，并且为两个分支保留了 quantize_scale_node 分支的输入量化 scale 为 0.083，而 neck.Rep_n3.conv1 分支的输入量化 scale 为 0.105，这两个节点输入尺度是不同 的，导致 neck.reduce_layer1.conv 无法直接输出为 INT8。 可以看出，对于同一个输出，输入到多路分支后为何 scale 不同的，原因是右边 的分支经过了 concat 操作，会导致输出的数据分布发生变化，再进行激活校准

. . . . . . . . . . . . . 100 8.1.1 Layer Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 8.2 Layer Modes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 14.5.6 Open as Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 14.8.11 Show Layer Boundary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354

. . . . . . . . . . . . . . . . . 101 8.1.1 Layer Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 8.2 Layer Modes . . . . . . . . . . . . . . . . . . . . New Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 8.4 Layer Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 9.1.2 Managing Text Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 9.1.3 Text Toolbox .