nn.Module 主讲人：龙良曲 Magic ▪ Every Layer is nn.Module ▪ nn.Linear ▪ nn.BatchNorm2d ▪ nn.Conv2d ▪ nn.Module nested in nn.Module 1. embed current layers ▪ Linear ▪ ReLU ▪ Sigmoid ▪ Conv2d ▪ ConvTransposed2d

(continued from previous page) import torchvision from PIL import Image from torch import nn from torch.nn import functional as F from torch.utils import data from torchvision import transforms 目标受众 参数传递到nn.Linear中。第一个指 定输入特征形状，即2，第二个指定输出特征形状，输出特征形状为单个标量，因此为1。 # nn是神经网络的缩写 from torch import nn (continues on next page) 102 3. 线性神经网络 (continued from previous page) net = nn.Sequential(nn.Linear(2 回归模型中的权重和偏置。深度学习框架通常有预定 义的方法来初始化参数。在这里，我们指定每个权重参数应该从均值为0、标准差为0.01的正态分布中随机采 样，偏置参数将初始化为零。 正如我们在构造nn.Linear时指定输入和输出尺寸一样，现在我们能直接访问参数以设定它们的初始值。我 们通过net[0]选择网络中的第一个图层，然后使用weight.data和bias.data方法访问参数。我们还可以使用

常用神经网络接口 PyTorch 除了提供底层的矩阵相乘、加减等数学函数，还内建了常用神经网络运算函 数、常用网络层、网络训练、模型保存与加载、模型部署等一系列深度学习系统的便捷功 能。常用网络层主要放置在 nn 子模块中，优化器主要放置在 optim 子模块中，模型部署主 要通过 ONNX 协议实现。使用 PyTorch 开发，可以方便地利用这些功能完成常用算法业务 流程，高效稳定灵活。 1.6 PyTorch 的数据对象 DataLoader 格式。代码如下： import torch # 导入 pytorch from torch import nn # 导入 pytorch 的网络层子库 from torch.nn import functional as F # 导入网络层函数子库 from torch import optim # 导入优化器 import 3.8 手写数字图片识别体验 11 nn.Linear(28*28, 256) 使用 Sequential 容器可以非常方便地搭建多层的网络。对于 3 层网络，我们可以通过快速 完成 3 层网络的搭建。 # 利用 Sequential 容器封装 3 个网络层，前网络层的输出默认作为下一层的输入 model = nn.Sequential( # 创建第一层，输入为

Pytorch? ● Training & Testing Neural Networks in Pytorch ● Dataset & Dataloader ● Tensors ● torch.nn: Models, Loss Functions ● torch.optim: Optimization ● Save/load models Prerequisites ● We assume Step 2. torch.nn.Module Load Data torch.nn – Network Layers ● Linear Layer (Fully-connected Layer) nn.Linear(in_features, out_features) Input Tensor * x 32 Output Tensor * x 64 nn.Linear(32, 64) (10, 32), (10, 5, 32), (1, 1, 3, 32), ... torch.nn – Network Layers ● Linear Layer (Fully-connected Layer) ref: last year's lecture video torch.nn – Neural Network Layers ● Linear Layer (Fully-connected

中要想使用神经网络，需要继承 nn.Module： c l a s s NeuralNetwork (nn . Module ) : def __init__( s e l f ) : super ( NeuralNetwork , s e l f ) . __init__ () # 把 数 组 降 到1 维 s e l f . f l a t t e n = nn . Flatten () 计 算 顺 序 s e l f . linear_relu_stack = nn . Sequential ( nn . Linear (28∗28 , 512) , nn .ReLU() , #使 用ReLU做 激 活 函 数 nn . Linear (512 , 512) , nn .ReLU() , nn . Linear (512 , 10) , ) def forward ( forward 里面定义 Softmax 或者 Cross-Entropy，这是因为这些东西是在 NeuralNetwork 之外定义： #损 失 函 数 为 交 叉 熵 loss_function = nn . CrossEntropyLoss () # 学 习 率 learning_rate = 1e−3 # 优 化 器 为 随 机 梯 度 下 降 optimizer = torch . optim

来源网站：链滴 许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) 前言 本节主要内容是如何使用 torch.nn 包来构建神经网络。 上一讲已经讲过了 autograd，nn 包依赖 autograd 包来定义模型并求导。 一个 nn.Module 包含各个层和一个 forward(input) 方法，该方法返回 output。 例如： 它是一个简单的前馈神经网络 torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self,): super(Net, self).__init__() # 输入图片通道数为 1，输出通道数为 6，卷积核大小为 (5, 5) self.conv1 = nn.Conv2d(1 16，卷积核大小为 (5, 5) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16 * 5 * 5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self,

nelement() 形状操作 x.reshape x.reshape(相当于 tensor.contiguous().view()); x.view x.flatten x.view(-1)；nn Flatten() 类型转换 np.floor(x) torch.floor(x); x.floor() 比较 np.less x.lt np.less_equal/np.greater x 1.Tensors张量的概念 10  Python、PyTorch 1.x与TensorFlow2.x的比较 类别 Python PyTorch 1+ TensorFlow 2+ 类型 nn.nd Tensor Tensor 自动求导 无 支持,示例 x=torch.tensor([2.0,3.6],requir e s_grad=True) 支持，①对变量求导示例 v=tf.Variable([3 神经网络 可以使用torch.nn包来构建神经网络. 你已知道autograd包,nn包依赖autograd 包来定义模型并求导.一个nn.Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 3. 神经网络 29  PyTorch构建网络工具 torch.nn Module Linear

• 自动求导 • 常用网络层 1. GPU加速 2. 自动求导 3. 常用网络层 ▪ nn.Linear ▪ nn.Conv2d ▪ nn.LSTM ▪ nn.ReLU ▪ nn.Sigmoid ▪ nn.Softmax ▪ nn.CrossEntropyLoss ▪ nn.MSE 下一课时 开发环境安装 Thank You.

collaborative seamless integration with the ecosystem of AI/ML software frameworks and librariesArm NN open source project ● Linaro-hosted https://www.mlplatform.org/ ● Git and review servers ● Forums Jira project restricted to Linaro members ● Three sub-projects: ○ Arm Compute Library ○ Arm NN ○ Android NN Driver ● Arm Compute Library has been integrated by: ○ MATLAB Coder ○ ONNX RuntimeArm platform Fujitsu, Riken, and etc ● Collaborations between Arm NN/ACL/CMSIS-NN and TVM ○ Integrate optimized ACL/CMSIS-NN kernels into TVM? ○ Implement Arm NN generic backend in TVM for more flexibility with the

模型结构： class SampleModel(nn.Module): def __init__(self): super(SampleModel, self).__init__() self.line_layer = nn.Tensor.line(1, 1) def forward(self, x: nn.Tensor) -> nn.Tensor: out = self.line_layer(x) 模型结构： class SampleModel(nn.Module): def __init__(self, in_size, hidden_size, out_size): super().__init__() self.layer_1 = nn.Tensor.uniform(in_size, hidden_size) self.layer_2 = nn.Tensor.uniform(hidden_size