部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 10~15 章为模型算法应用部分，主要介绍常见的算法与模型，让读者能够 学有所用。 在本书中编写时，很多英文词汇尚无法在业界找到一个共识翻译名，因此作者备注翻译 的英文原文，供读者参考，同时也方便读者日后阅读相关英文文献时，不至于感到陌生。 尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论 工智能算法。接下来我们将介绍人工智能、机器学习、深度学习的概念以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出 现在 1956 年召开的达特茅斯会议上。这是一项极具挑战性的任务，人类目前尚无法对人脑 的工作机制有全面、科学的认知，希望能制造达到人脑水平的智能机器无疑是难于上青 天。即使如此，在某个方面呈现出类似、接近甚至超越人类智能水平的机器被证明是可行 些具体任务场景强相 关的，一旦场景发生了变动，这些依靠人工设计的特征和先验设定无法自适应新场景，因 此需要重新设计算法模型，模型的通用性不强。 设计一种像人脑一样可以自动学习、自我调整的通用智能机制一直是人类的共同愿 景。从目前来看，深度学习是最接近通用智能的算法之一。在计算机视觉领域，过去需要 针对具体的任务设计特征、添加先验假设的做法，已经被深度学习算法彻底抛弃了，目前 在图片识别、目标

列编码成一个上下文矩阵，在使用Decoder来解码。当然，我们仅仅把context vector作为编码器到解码器的输入。 7 1.Transformer介绍 Attention注意力机制 在介绍什么是注意力机制之前， 先让大家看一张图片。当大家看 到下面图片，会首先看到什么内 容？当过载信息映入眼帘时，我 们的大脑会把注意力放在主要的 信息上，这就是大脑的注意力机 制。 8 1 速度快：Attention 解决了 RNN及其变体模型不能并行计算的问题。Attention机 制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。 3.效果好：在Attention 机制引入之前，有一个问题大家一直很苦恼：长距离的信 息会被弱化，就好像记忆能力弱的人，记不住过去的事情是一样的。 10 2017年google的机器翻译团队在 NIPS上发表了Attention 量上更优、更易于并行化，所需训练时间明显更少 ◼ Transformer通过成功地将其应用于具有大量和有限训 练数据的分析，可以很好地推广到其他任务 ◼ Transformer，它完全基于注意力机制， 完全不用重复 和卷积，因而这些模型在质量上更优，同时更易于并 行化，并且需要的训练时间明显更少。 ◼ Transformer出现以后，迅速取代了RNN系列变种，跻 身主流模型架构基础。（RNN缺陷正在于流水线式的

运算符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.1.3 广播机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.1.4 索引和切片 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 10 注意力机制 381 10.1 注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 10节 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在 11节 中，我们讨论了用于训练深度学习模型的几

定时轮询 Kafka Hdfs 样本输出 3 在线机器学习-实时样本生成 • 多流拼接 • 曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题 • 延迟等待机制，先到先走 • 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理 • 自动化监控与修复系统 率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换 • 稳定性优化 • 模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储 • 冷备容灾：基于checkpoint机制(Local模式&Remote模式)，实现参 模型的异构集群迁移，支持集 群扩缩容 • 性能优化 • 通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍 • 缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍 • 分区优化：支持多种分区策略（RANGE/HASH/MOD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍 • 存储优化：自定义存储方式(B

Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。 3.滑动窗口为我们的模型生成训练样本 16 3 中，考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积 神经网络，性能最好的模型被证明还是通过注意力机制（attention mechanism）连接编码器和解码器，因而《Attention Is All You Need》 中提出了一种新的简单架构——Transformer，它完全基于注意力机制， 完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 非任务型人机交互场景，可分类为管道模式及端对端模式。 结构性的文本生成，首先通过注意力机制、多层感知器等系 统进行语句内容预选，对数值、时间等类型数据进行推理。 增强数据间的结构信息。其次通过Transformer等模式结合 上下文进行推导，生成最终文本。 ◼ Transform

数据并行计算，加速Optimizer计算 • 低频特征过滤  Counting Bloom Filter  概率方式 • 模型数据通路  Base + Delta方式  增量提供ACK机制，确保模型正确性 Parameter Server • 模型数据的统一管理  模型结构  模型参数 PS的参数放置策略 • Ps分布式分片的均衡，避免分片大小不一致  NN网络矩阵按行切分，解决请求包不均衡问题 PS快速failover  Compaction机制，降低load数据量 • Online Learning对数据流的要求  不重不丢：重复的数据会使模型有偏，数据的缺失 会使模型丢失重要信息  数据有序性：数据乱序会导致样本穿越的现象 • Log Join框架  双流拼接框架，通过组合方式支持多流拼接  基于Event Time的Window机制拼接方式  基于Low Watermark解决流乱序、流延迟等流式常 Watermark解决流乱序、流延迟等流式常 见问题 流式拼接框架 • Low Watermark机制  定义了流式数据的时钟，不可逆性  Smooth low watermark：异常数据时间跳变 流式拼接 • Checkpoint解决不重不丢问题  外存解决大数据量性能问题  在引擎中流转log key，特征数据在外存 • 分业务场景支持  轻量级predictor：仅支

输入的原文经过编码器编码变成向量 l 解码器从向量里面提取关键信息，组合成生成式摘要 深度学习内部注意力机制的引入 l 内部注意力机制在解码器里面做 l 关注已生成词，解决长序列摘要生成时，个别字词重复出现的问题 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN 解码器内部注意力机制 输入序列 输入序列 输入序列。。。 编码器 解码器 摘要序列。。。 摘要序列 Rouge指标优化 给与反馈来更新模型。最终训练得到表现最好的模型。 生成式摘要 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN Rouge指标优化 Reward 文本摘要候选集 生成 解码器内部注意力机制 编码器 解码器 深度学习摘要生成式模型 输入序列 输入序列 输入序列。。。 摘要序列。。。 摘要序列 更新模型 评分 返回 增强学习优化模块 最优摘要结果 生成式摘要 知识图谱关系抽取：联合学习方法

实现这个目标的一种方法是建立一个模型，将两条推文编码成两个向量，连接向量，然后 添加逻辑回归层；这将输出两条推文来自同一作者的概率。模型将接收一对对正负表示的推特 数据。 由于这个问题是对称的，编码第一条推文的机制应该被完全重用来编码第二条推文。这里 我们使用一个共享的 LSTM 层来编码推文。 让我们使用函数式 API 来构建它。首先我们将一条推特转换为一个尺寸为 (140, 256) 的 矩阵，即每条推特 by_name=True) 3.3.6.4 处理已保存模型中的自定义层（或其他自定义对象） 如果要加载的模型包含自定义层或其他自定义类或函数，则可以通过 custom_objects 参数将 它们传递给加载机制： from keras.models import load_model # 假设你的模型包含一个 AttentionLayer 类的实例 model = load_model('my_model custom_objects={'AttentionLayer': AttentionLayer}) 3.3.7 为什么训练误差比测试误差高很多？ Keras 模型有两种模式：训练和测试。正则化机制，如 Dropout 和 L1/L2 权重正则化，在测 试时是关闭的。 此外，训练误差是每批训练数据的平均误差。由于你的模型是随着时间而变化的，一个 epoch 中的第一批数据的误差通常比最后

2003  神经网络NLP里程碑： Word2vec 2013 CNN RNN 2014左右 Attention 2014 Elmo, Bert 2018 解决维度灾难 预训练+微调 注意力机制 端到端训练 符号-向量 8 预训练+微调 大规模语料训练通 用语言模型 在目标语料上微调 语言模型 在目标语料上训练 分类器 … … BERT E[ C E1 T1 E2

感知机模型 1957年，受 Warren McCulloch 和 Walter Pitts 在神经元建模方面工作的启发，心理学家 Frank Rosenblatt 参考大脑中神经元信息传递信号的工作机制，发明了神经感知机模型 Perceptron 。 二分类模型 神经网络 在机器学习和认知科学领域，人工神经网络（ANN），简称神经网络（NN）是一种模仿生物 神经网络（动物的中枢神经系统，特