nn.Module 主讲人：龙良曲 Magic ▪ Every Layer is nn.Module ▪ nn.Linear ▪ nn.BatchNorm2d ▪ nn.Conv2d ▪ nn.Module nested in nn.Module 1. embed current layers ▪ Linear ▪ ReLU ▪ Sigmoid ▪ Conv2d ▪ ConvTransposed2d

Torch24和Theano25。许多开创性的论文都是用这些工具写的。到目前为止，它们已经被TensorFlow26 （通常通过其高级API Keras27使用）、CNTK28、Caffe 229和Apache MXNet30所取代。第三代工具，即用 于深度学习的命令式工具，可以说是由Chainer31率先推出的，它使用类似于Python NumPy的语法来 描述模型。这个想法被PyTorch32、MXNet的Gluon com/caffe2/caffe2 30 https://github.com/apache/incubator‐mxnet 31 https://github.com/chainer/chainer 32 https://github.com/pytorch/pytorch 33 https://github.com/apache/incubator‐mxnet 34 https://github 有关如何使用给定函数或类的更具体说明，可以调用help函数。例如，我们来查看张量ones函数的用法。 help(torch.ones) Help on built-in function ones in module torch: ones(...) ones(*size, *, out=None, dtype=None, layout=torch.strided, device=None, requires_

计算任务到指定GPU设备 设备亲和性影响较小 设备亲和性影响较大 TensorFlow on Yarn技术细节揭秘 Yarn支持GPU调度ResourceManager端实现：� 扩展org.apache.hadoop.yarn.api.records.Resource抽象类及其实现，增加：� � public abstract int getGpuCores();� � public abstract � 1、对NodeManager GPU卡数量的统计管理� 2、调度器统计管理每个Pool的GPU设备数的分配情况� � 具体可以参考下面Patch的实现思路：� https://issues.apache.org/jira/browse/YARN-5517� TensorFlow on Yarn技术细节揭秘 Yarn支持GPU调度NodeManager端实现：� NodeManager yarn-site

Keras Model 对象。 参考文献 • Rethinking the Inception Architecture for Computer Vision License 预训练权值基于 Apache License。 13.3.6 InceptionResNetV2 keras.applications.inception_resnet_v2.InceptionResNetV2(include_top=True Keras Model 对象。 参考文献 • Rethinking the Inception Architecture for Computer Vision License 预训练权值基于 Apache License。 13.3.7 MobileNet keras.applications.mobilenet.MobileNet(input_shape=None, alpha=1.0, MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications License 预训练权值基于 Apache License。 13.3.8 DenseNet keras.applications.densenet.DenseNet121(include_top=True, weights='imagenet'

数据 程序模型 GPUs & 计算加速 深度学习的爆发 图像理解 自然语言处理 语音识别 机器自主 AWS 之上的人工智能应用 Zillow • Zestimate (using Apache Spark) Howard Hughes Corp • Lead scoring for luxury real estate purchase predictions FINRA • Anomaly

... 20 backend module ............................................................................................................................................ 21 utils module ................. You can install all the modules by using the below syntax: Syntax conda install -c anaconda <module-name> For example, you want to install pandas: conda install -c anaconda pandas Like the same correctly, import all the modules, it will add everything and if anything went wrong, you will get module not found error message. Keras 9 This chapter explains Keras backend implementations

GitHub. ‣ SE-ResNext model: This ResNeXt101-32x4d model has an added Squeeze-and- Excitation (SE) module that was introduced in the Squeeze-and-Excitation Networks paper. This model script is available GitHub. ‣ SE-ResNext model: This ResNeXt101-32x4d model has an added Squeeze-and- Excitation (SE) module that was introduced in the Squeeze-and-Excitation Networks paper. This model script is available GitHub. ‣ SE-ResNext model: This ResNeXt101-32x4d model has an added Squeeze-and- Excitation (SE) module that was introduced in the Squeeze-and-Excitation Networks paper. This model script is available

BY-SA 4.0) 前言 本节主要内容是如何使用 torch.nn 包来构建神经网络。 上一讲已经讲过了 autograd，nn 包依赖 autograd 包来定义模型并求导。 一个 nn.Module 包含各个层和一个 forward(input) 方法，该方法返回 output。 例如： 它是一个简单的前馈神经网络，它接受一个输入，然后一层接着一层地传递，最后输出计算的结果。 神经网络的典型训练过程如下： 定义网络 开始定义一个网络： import torch import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self,): super(Net, self).__init__() # 输入图片通道数为 1，输出通道数为 6，卷积核大小为 Tensor：一个用过自动调用backward() 实现支持自动梯度计算的多维数组 ，并且保存关于 个向量的梯度 w.r.t. ● nn.Module：神经网络模块。封装参数、移动到 GPU 上运行、导出、加载等。 ● nn.Parameter：一种变量，当把它赋值给一个Module 时，被自动 地注册为一个参数。 ● autograd.Function：实现一个自动求导操作的前向和反向定义，每个变量操作至少创建一个函数

Network Loss Function Optimization Algorithm Training Validation Testing Step 2. torch.nn.Module Load Data torch.nn – Network Layers ● Linear Layer (Fully-connected Layer) nn.Linear(in_features activation functions. torch.nn – Build your own neural network import torch.nn as nn class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.net = nn.Sequential( output of your NN torch.nn – Build your own neural network import torch.nn as nn class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.net = nn.Sequential(

你已知道autograd包,nn包依赖autograd 包来定义模型并求导.一个nn.Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 3. 神经网络 29  PyTorch构建网络工具 torch.nn Module Linear Conv* *norm *Aative *Loss 3. 神经网络 torch.Tensor-支持自动编程操作（如backward()）的多维数组。同时保持梯度的张 量。 nn.Module-神经网络模块.封装参数,移动到GPU上运行,导出,加载等 nn.Parameter-一种张量,当把它赋值给一个Module时,被自动的注册为参数。 autograd.Function-实现一个自动求导操作的前向和反向定义, 每个张量操作都会 创建至少