运算符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.1.3 广播机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.1.4 索引和切片 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 10 注意力机制 381 10.1 注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 10节 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在 11节 中，我们讨论了用于训练深度学习模型的几

Autograd自动求导 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 17  PyTorch 1.x的自动微分机制 构 建 计 算 图 创 建 设 置 张 量 (tensor) 设 置 t e n s o r的 requires_ g r a d 的 属 性 为 True 定 义 函 数 ( L) 置 backward()函 数 中 g r a d i e n t 参 数 ， 使 其 形 状 与 函 数 L形状一样，其权重一般为1（也可 小于1） 使 用 t e n s o r.grad查 看 叶 子 节 点 的 梯 度 如 果 需 要 保 存 非 叶 子 节 点 梯 度 ， 需 使 对 应 张 量 调 用 retain_graph （） 使 用 t e n s o r.grad 神经网络的典型训练过程如下: • 定义神经网络模型,它有一些可学习的参数(或者权重); • 在数据集上迭代; • 通过神经网络处理输入; • 计算损失(输出结果和正确值的差距大小) • 将梯度反向传播回网络的参数; • 更新网络的参数,主要使用如下简单的更新原则: weight = weight - learning_rate * gradient 31 定义 网络 1 损失 函数 2 优化

工智能算法。接下来我们将介绍人工智能、机器学习、深度学习的概念以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出 现在 1956 年召开的达特茅斯会议上。这是一项极具挑战性的任务，人类目前尚无法对人脑 的工作机制有全面、科学的认知，希望能制造达到人脑水平的智能机器无疑是难于上青 天。即使如此，在某个方面呈现出类似、接近甚至超越人类智能水平的机器被证明是可行 些具体任务场景强相 关的，一旦场景发生了变动，这些依靠人工设计的特征和先验设定无法自适应新场景，因 此需要重新设计算法模型，模型的通用性不强。 设计一种像人脑一样可以自动学习、自我调整的通用智能机制一直是人类的共同愿 景。从目前来看，深度学习是最接近通用智能的算法之一。在计算机视觉领域，过去需要 针对具体的任务设计特征、添加先验假设的做法，已经被深度学习算法彻底抛弃了，目前 在图片识别、目标 是一种典型的生物神经元结构。1943 年，心理学家沃伦·麦卡洛克 (Warren McCulloch)和数理逻辑学家沃尔特·皮茨(Walter Pitts)通过对生物神经元的研究， 提出了模拟生物神经元机制的人工神经网络的数学模型 [1]，这一成果被美国神经学家弗 兰克·罗森布拉特(Frank Rosenblatt)进一步发展成感知机(Perceptron)模型 [2]，这也是现代 深度学习的基石。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 目录 VIII 11 回调函数 Callbacks 146 11.1 回调函数使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 11.1.13 LambdaCallback [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 11.2 创建一个回调函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 11.2.1 例: 记录损失历史 实现这个目标的一种方法是建立一个模型，将两条推文编码成两个向量，连接向量，然后 添加逻辑回归层；这将输出两条推文来自同一作者的概率。模型将接收一对对正负表示的推特 数据。 由于这个问题是对称的，编码第一条推文的机制应该被完全重用来编码第二条推文。这里 我们使用一个共享的 LSTM 层来编码推文。 让我们使用函数式 API 来构建它。首先我们将一条推特转换为一个尺寸为 (140, 256) 的 矩阵，即每条推特

定时轮询 Kafka Hdfs 样本输出 3 在线机器学习-实时样本生成 • 多流拼接 • 曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题 • 延迟等待机制，先到先走 • 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理 • 自动化监控与修复系统 率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换 • 稳定性优化 • 模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储 • 冷备容灾：基于checkpoint机制(Local模式&Remote模式)，实现参 模型的异构集群迁移，支持集 群扩缩容 • 性能优化 • 通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍 • 缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍 • 分区优化：支持多种分区策略（RANGE/HASH/MOD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍 • 存储优化：自定义存储方式(B

•图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 12 深度学习-CV典型应用案例 翻译 传统翻译采用人工查词的方式，不但耗时长 ，而且错误率高。图像识别技术(OCR)的出 现大大提升了翻译的效率和准确度，用户通 过简单的拍照、截图或划线就能得到准确的 翻译结果。 体育赛事 计算机视觉还有助于比赛和策略分 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器 翻译 、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识 别等。 可以说，自然语言处理就是要计算机理解自然语言，自然 语言处理机制涉及 两个流程，包括自然语言理解和自然语言生成 ，自然语言理解是让计算机把 输入的语言变成有意思的符号和关 系，然后根据目的再处理；自然语言生成 则是把计算机数据转 化为自然语言。实现人机间的信息交流，是人工智能

optimizer ’ ] ) test_loop ( test_dataloader , model2 , loss_function ) model2 的预测正确率为 70.5%，证明我们的模型保存和恢复机制是正确的。 本节代码见 chapter3.py。 3.2 初始化网络权重-方法一 我们通过自定义初始化函数，来实现对网络参数的初始化。有时候，好的初始化可以为网络 的训练带来极大好处。 在 假设我们现在已经产生了 x_data,y_data 以及 x_data2,y_data2，我们要把它们进行封装。 我们只需要继承 Dataset，然后实现三个函数即可，即初始化函数，求长度的函数以及根据索引返 回某一个样本的函数： from torch . u t i l s . data import Dataset from torch . u t i l s . data import DataLoader

多少]; a : [我 这边 帮 您 联系 一下 快递 那边] q : [不合 适 就 退 不然 真 不 合 理]; a : [亲 ] q : [你 现在 到 unk 镇 哪里 提 就 不能 帮 我 查 下 吗]; a : [这个 是 苏宁 发货 的] q : [我的 增 票 认证 已经 成功 为什么 还 没有 给 我 寄 发票 呢]; a : [您好 请问 有 什么 可 以 帮 您 的 呢] q : unk 已经 在 现场 等 着 了 空调 没 装 好 他 不能 unk]; a : [这个 是 需要 您 自 己 承担 的] q : [谢谢 啦]; a : [不 客气 的] q : [你 哪 里 查 不到 吗]; a : [稍 等] q : [冰箱 内 的 冷藏 的 unk 小 铲子 都是 自带 的 对 吧]; a : [是 的 呢] q : [你好]; a : [您好 请问 有 什么 可 以 帮

列编码成一个上下文矩阵，在使用Decoder来解码。当然，我们仅仅把context vector作为编码器到解码器的输入。 7 1.Transformer介绍 Attention注意力机制 在介绍什么是注意力机制之前， 先让大家看一张图片。当大家看 到下面图片，会首先看到什么内 容？当过载信息映入眼帘时，我 们的大脑会把注意力放在主要的 信息上，这就是大脑的注意力机 制。 8 1 速度快：Attention 解决了 RNN及其变体模型不能并行计算的问题。Attention机 制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。 3.效果好：在Attention 机制引入之前，有一个问题大家一直很苦恼：长距离的信 息会被弱化，就好像记忆能力弱的人，记不住过去的事情是一样的。 10 2017年google的机器翻译团队在 NIPS上发表了Attention 量上更优、更易于并行化，所需训练时间明显更少 ◼ Transformer通过成功地将其应用于具有大量和有限训 练数据的分析，可以很好地推广到其他任务 ◼ Transformer，它完全基于注意力机制， 完全不用重复 和卷积，因而这些模型在质量上更优，同时更易于并 行化，并且需要的训练时间明显更少。 ◼ Transformer出现以后，迅速取代了RNN系列变种，跻 身主流模型架构基础。（RNN缺陷正在于流水线式的

Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。 3.滑动窗口为我们的模型生成训练样本 16 3 中，考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积 神经网络，性能最好的模型被证明还是通过注意力机制（attention mechanism）连接编码器和解码器，因而《Attention Is All You Need》 中提出了一种新的简单架构——Transformer，它完全基于注意力机制， 完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 非任务型人机交互场景，可分类为管道模式及端对端模式。 结构性的文本生成，首先通过注意力机制、多层感知器等系 统进行语句内容预选，对数值、时间等类型数据进行推理。 增强数据间的结构信息。其次通过Transformer等模式结合 上下文进行推导，生成最终文本。 ◼ Transform