04 GAN的思考与前景 3. GAN的应用 25 GAN的应用 ⚫ 图像和视觉领域 ⚫ 语音和语言领域 ⚫ 其他领域 作为一个具有 “无限” 生成能力的模型, GAN的直接应用就是建 模, 生成与真实数据分布一致的数据样本，GAN 可以用于解决标注数据 不足时的学习问题。 其可以应用于： 3. GAN的应用 26 GAN的应用 图像和视觉领域 GAN 能够生成与真 收敛性和均衡点存在性的理论推断。 （3）如何将GAN 与特征学习、模仿学习、强化学习等技术更好地融合 , 开 发新的人工智能应用或者促进这些方法的发展 。 4. GAN的思考与前景 34 参考文献 1. 江苏师范大学，申亚博老师课件 2. PyTorch深度学习：基于PyTorch，机械工业出版社，吴茂贵等，2019年出版 3. Andrew Ng，http://www.deeplearning.ai 4. https://blog

的部 署本身就是扰乱数据分布的催化剂。举一个有点荒谬却可能真实存在的例子。假设我们训练了一个贷款申请 人违约风险模型，用来预测谁将偿还贷款或违约。这个模型发现申请人的鞋子与违约风险相关（穿牛津鞋申 请人会偿还，穿运动鞋申请人会违约）。此后，这个模型可能倾向于向所有穿着牛津鞋的申请人发放贷款，并 拒绝所有穿着运动鞋的申请人。 这种情况可能会带来灾难性的后果。首先，一旦模型开始根据鞋类做出决定，顾客就会理解并改变他们的行 在处理多通道输入数据时，汇聚层在每个输入通道上单独运算，而不是像卷积层一样在通道上对输入进行汇 总。这意味着汇聚层的输出通道数与输入通道数相同。下面，我们将在通道维度上连结张量X和X + 1，以构 建具有2个通道的输入。 X = torch.cat((X, X + 1), 1) X tensor([[[[ 0., 1., 2., 3.], [ 4., 5., 6., 7.], [ 8., 个 操作在不同的i之间是独立的。 这就允许我们定义下面两个操作：push（用于累积梯度）和pull（用于取得聚合梯度）。因为我们有很多层，也 就有很多不同的梯度集合，因此需要用一个键i来对梯度建索引。这个与Dynamo (DeCandia et al., 2007)中引 入的键－值存储之间存在相似性并非巧合。它们两个定义都拥有许多相似的性质，特别是在多个服务器之间 分发参数时。 键－值存储的push与pull操作描述如下：

Autograd自动求导 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 17  PyTorch 1.x的自动微分机制 构 建 计 算 图 创 建 设 置 张 量 (tensor) 设 置 t e n s o r的 requires_ g r a d 的 属 性 为 True 定 义 函 数 ( L) 使 用 函 数 的

Bias 特征覆盖率 并行化训练 并行化训练 诉求  加大数据量，提 升模型稳定性  加大数据量，提 升模型收益 方案  MxNet支持多机 多卡, 使用成本低  构 建 多 机 多 卡 GPU集群，优化 训练效率，提高 加速比 现状和计划 现状  已经实现LR+DNN融合模型的上线，收益较好  受限于线上计算资源，模型复杂度有限  线下训练流程有依赖，繁琐易出错

•静态图：先搭建图，后运算 根据计算图搭建方式，可将计算图分为动态图和静态图 PyTorch 是支持动态图的，可以在进行运算的同时进行 TensorFlow 是支持静态图的，需要在计算之前，先进行搭 建（ TensorFlow 2.X引入了动态图 ） 21 4.静态图与动态图 TensorFlow:先搭建所有的计 算图之后，再把数据输入进去 PyTorch:动态图的搭建是根据 每一步的计算搭建的

对于一个时间序列来说，如果它的均值没 有系统的变化（无趋势），方差没有系统 变化，并且严格消除了周期性的变化，就 称为是平稳的。 66 • 本章主要介绍了Pandas中用于处理时间序列的相关内容，包括创 建时间序列、时间戳索引和切片操作、固定频率的时间序列、时期 及计算、重采样、滑动窗口和时序模型，最后开发了一个股票预测 分析的案例。 • 通过对本章内容的学习，读者应该掌握处理时间序列数据的一些技

分类 回归 二叉树 基尼指数 均方差 支持 支持 支持 支持 1.决策树原理 决策树的三种基本类型 建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同 的 目 标 函 数 ， 建 立 决 策 树 主 要 有 一 下 三 种 算 法 ： ID3(Iterative Dichotomiser)、C4.5、CART(Classification And Regression Tree)。

深度学习入门-目标检测 15 深度学习入门-目标检测 16 深度学习入门-图像分割 17 深度学习入门-图像分割 18 自然语言处理（Natural Language Processing）是一门通过建 立形式化的 计算模型来分析、理解和处理自然语言的学科，也是 一门横跨语言学、计算 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、

测试。这样我们就完成了 Pytorch 的环境搭建，这里有个很特 别的地方需要注意，就是 Pytorch 的 GPU 版本需要 CUDA 驱 动支持与 CUDA 库的安装配置支持。关于这块的安装强烈建 议参照英伟达官方网站的安装指导与开发者手册。 1.3 Pytorch 基础术语与概念 很多人开始学习深度学习框架面临的第一个问题就是专业术语 理解跟基本的编程概念与传统面向对象编程不一样，这个是初

虽然深度学习框架数量众多，但是大体上可以分为两类：基于静态图的和基于动态图 的。基于静态图的代表性框架是 TensorFlow 1，特点是建立计算图过程和实际计算过程是 分开的；PyTorch 是基于动态图的流行框架，特点是计算图的建图过程和计算过程是同时 进行的。 下面以简单的2.0 + 4.0的加法运算为例，介绍静态图和动态图的主要区别。首先介绍 静态图，以 TensorFlow 1.x 为例，首先创建计算图，代码如下(以下代码需要提前安装 ，将权值矩阵?初始化为全 1 矩阵，偏置 b 初始化为全 0 向量，此时线性变化 层输出? = ?，因此是一种比较好的层初始化状态。通过 torch.zeros()和 torch.ones()即可创 建任意形状，且内容全 0 或全 1 的张量。例如，创建为 0 和为 1 的标量： In [24]: torch.zeros([]),torch.ones([]) # 创建全 0，全 1 的标量 为[2]的?张量可以直接相加，读者可以思考下为什么 呢？原因将在 Broadcasting 一节为大家揭秘。 通过高层接口类 Linear()方式创建的网络层，张量?和?存储在类的内部，由类自动创 建并管理。可以通过全连接层的 bias 成员变量查看偏置变量?，例如创建输入节点数为 4， 输出节点数为 3 的线性层网络，那么它的偏置向量 b 的长度应为 3，实现如下： In [43]: from