序列标注 传统机器学习（CRF） • 需要大量特征工程 • 不同领域需要反复调整 深度学习（Bi-LSTM+CRF） • 多领域通用 • 输入层采用词向量，提升泛化能力 • 循环神经网络（LSTM,GRU等）能学 到一些较远的的上下文特征以及一些 非线性特征 序列标注 字/词向量 Bi-LSTM 会 数 据 开 观 达 去 明 小 LSTM LSTM LSTM LSTM LSTM 解码器从向量里面提取关键信息，组合成生成式摘要 深度学习内部注意力机制的引入 l 内部注意力机制在解码器里面做 l 关注已生成词，解决长序列摘要生成时，个别字词重复出现的问题 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN 解码器内部注意力机制 输入序列 输入序列 输入序列。。。 编码器 解码器 摘要序列。。。 摘要序列 Rouge指标优化 Reward 文本摘要候选集 集。 l ROUGE指标评价：不可导，无法采用梯度下降的方式训练，考虑强化学习，鼓励reward高的模型，通过 给与反馈来更新模型。最终训练得到表现最好的模型。 生成式摘要 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN Rouge指标优化 Reward 文本摘要候选集 生成 解码器内部注意力机制 编码器 解码器 深度学习摘要生成式模型 输入序列 输入序列 输入序列。。。

distance: ∥a − b∥2 = �� i(ai − bi)2 Squared Euclidean distance: ∥a − b∥2 2 = � i(ai − bi)2 Manhattan distance: ∥a − b∥1 = � i |ai − bi| Maximum distance: ∥a − b∥∞ = maxi |ai − bi| Mahalanobis distance: �

LSTM LSTM LSTM LSTM LSTM embedding lookup tranpose �����batch_size*6, 150) lstm cell unit = 64 bi-lstm �����batch_size*6, 128) Soft attention Attention size = 100 �batch_size*6, 128) Cosine similar ������ • ��FastText Vector���embedding • ���+��� ��title�����99.0% • ����� billion�� ��������� • bi-LSTM + attention • ��pai-tensorflow������ 语k模型——总结 排序应用——g性化表征 排序应用——g性化表征 ����������� � ���

�8�����������9�,9���,����9���.�29����9� s�AdaBoost��������� ���AB ���s� ,��H,��212�E ��������1B��E �����3BI y�����������y�H��A��2�� ��1�����I������ �M����J����������AB �����a�k�u��m��j�pJ� �i������j�p� r

. .时，序列满足a0 = 0且at = bt +ctat−1。 对于t ≥ 1，就很容易得出： at = bt + t−1 � i=1 � � t� j=i+1 cj � � bi. (8.7.5) 基于下列公式替换at、bt和ct： at = ∂ht ∂wh , bt = ∂f(xt, ht−1, wh) ∂wh , ct = ∂f(xt, ht−1, wh) Rn×h。它们的计算方法如下： It = σ(XtWxi + Ht−1Whi + bi), Ft = σ(XtWxf + Ht−1Whf + bf), Ot = σ(XtWxo + Ht−1Who + bo), (9.2.1) 其中Wxi, Wxf, Wxo ∈ Rd×h 和Whi, Whf, Who ∈ Rh×h是权重参数，bi, bf, bo ∈ R1×h是偏置参数。 候选记忆元 由于还没有指 处理器提供数据。这是深度学习中批量处理背后 的推动力。举一个简单的例子：矩阵‐矩阵乘法。比如A = BC，我们有很多方法来计算A。例如，我们可以尝 试以下方法： 1. 我们可以计算Aij = Bi,:C⊤ :,j，也就是说，我们可以通过点积进行逐元素计算。 2. 我们可以计算A:,j = BC⊤ :,j，也就是说，我们可以一次计算一列。同样，我们可以一次计算A一行Ai,:。 3. 我们可以简单地计算A

for each feature type. For example, instead of using words, we can use ngrams of different lengths (bi-grams, tri-grams, quad-grams, etc.), and maintain one embedding table per n-gram length. 3. Even