nn.Module 主讲人：龙良曲 Magic ▪ Every Layer is nn.Module ▪ nn.Linear ▪ nn.BatchNorm2d ▪ nn.Conv2d ▪ nn.Module nested in nn.Module 1. embed current layers ▪ Linear ▪ ReLU ▪ Sigmoid ▪ Conv2d ▪ ConvTransposed2d

... 20 backend module ............................................................................................................................................ 21 utils module ................. You can install all the modules by using the below syntax: Syntax conda install -c anaconda <module-name> For example, you want to install pandas: conda install -c anaconda pandas Like the same correctly, import all the modules, it will add everything and if anything went wrong, you will get module not found error message. Keras 9 This chapter explains Keras backend implementations

GitHub. ‣ SE-ResNext model: This ResNeXt101-32x4d model has an added Squeeze-and- Excitation (SE) module that was introduced in the Squeeze-and-Excitation Networks paper. This model script is available GitHub. ‣ SE-ResNext model: This ResNeXt101-32x4d model has an added Squeeze-and- Excitation (SE) module that was introduced in the Squeeze-and-Excitation Networks paper. This model script is available GitHub. ‣ SE-ResNext model: This ResNeXt101-32x4d model has an added Squeeze-and- Excitation (SE) module that was introduced in the Squeeze-and-Excitation Networks paper. This model script is available

有关如何使用给定函数或类的更具体说明，可以调用help函数。例如，我们来查看张量ones函数的用法。 help(torch.ones) Help on built-in function ones in module torch: ones(...) ones(*size, *, out=None, dtype=None, layout=torch.strided, device=None, requires_ def evaluate_accuracy(net, data_iter): #@save """计算在指定数据集上模型的精度""" if isinstance(net, torch.nn.Module): net.eval() # 将模型设置为评估模式 metric = Accumulator(2) # 正确预测数、预测总数 with torch.no_grad(): (continues train_iter, loss, updater): #@save """训练模型一个迭代周期（定义见第3章）""" # 将模型设置为训练模式 if isinstance(net, torch.nn.Module): net.train() (continues on next page) 3.6. softmax回归的从零开始实现 119 (continued from previous page)

BY-SA 4.0) 前言 本节主要内容是如何使用 torch.nn 包来构建神经网络。 上一讲已经讲过了 autograd，nn 包依赖 autograd 包来定义模型并求导。 一个 nn.Module 包含各个层和一个 forward(input) 方法，该方法返回 output。 例如： 它是一个简单的前馈神经网络，它接受一个输入，然后一层接着一层地传递，最后输出计算的结果。 神经网络的典型训练过程如下： 定义网络 开始定义一个网络： import torch import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self,): super(Net, self).__init__() # 输入图片通道数为 1，输出通道数为 6，卷积核大小为 Tensor：一个用过自动调用backward() 实现支持自动梯度计算的多维数组 ，并且保存关于 个向量的梯度 w.r.t. ● nn.Module：神经网络模块。封装参数、移动到 GPU 上运行、导出、加载等。 ● nn.Parameter：一种变量，当把它赋值给一个Module 时，被自动 地注册为一个参数。 ● autograd.Function：实现一个自动求导操作的前向和反向定义，每个变量操作至少创建一个函数

Network Loss Function Optimization Algorithm Training Validation Testing Step 2. torch.nn.Module Load Data torch.nn – Network Layers ● Linear Layer (Fully-connected Layer) nn.Linear(in_features activation functions. torch.nn – Build your own neural network import torch.nn as nn class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.net = nn.Sequential( output of your NN torch.nn – Build your own neural network import torch.nn as nn class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.net = nn.Sequential(

你已知道autograd包,nn包依赖autograd 包来定义模型并求导.一个nn.Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 3. 神经网络 29  PyTorch构建网络工具 torch.nn Module Linear Conv* *norm *Aative *Loss 3. 神经网络 torch.Tensor-支持自动编程操作（如backward()）的多维数组。同时保持梯度的张 量。 nn.Module-神经网络模块.封装参数,移动到GPU上运行,导出,加载等 nn.Parameter-一种张量,当把它赋值给一个Module时,被自动的注册为参数。 autograd.Function-实现一个自动求导操作的前向和反向定义, 每个张量操作都会 创建至少

attention_mask=ret["attention_mask"][0], ) self.cached_data_dict[i] = ret return ret def make_supervised_data_module( tokenizer: transformers.PreTrainedTokenizer, data_args, max_len, ) -> Dict: """Make dataset and return dict(train_dataset=train_dataset, eval_dataset=eval_dataset) 然 后 我 们 利 用 make_supervised_data_module ， 通 过 使 用 SupervisedDataset 或 LazySupervisedDataset 来构建数据集。 def train(): global local_rank parser enable_input_require_grads() (续下页) 1.12. 有监督微调 33 Qwen (接上页) # Load data data_module = make_supervised_data_module( tokenizer=tokenizer, data_args=data_args, max_len=training_args.model_max_ �→length

available in various form-factors ranging from a Raspberry-Pi like Dev Board to an independent solderable module. It has also been shipped directly on phones, such as Pixel 4. Figure 1-18: Approximate size of family of accelerators for edge devices. It comprises the Nano, which is a low-powered "system on a module" (SoM) designed for lightweight deployments, as well as the more powerful Xavier and TX variants rest for more compute intensive applications like industrial robotics. Figure 1-19: Jetson Nano module (Source) Hardware platforms like these are crucial because they enable our efficient models and

包，里面主要包含构建卷积神经网络的各种算子 操作，主要包括卷积操作（Conv2d、Conv1d、Conv3d）激 活函数、序贯模型 (Sequential)、功能函数 (functional)、损 失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 dtype=np. float32).reshape(-1, 1) 第二步：根据公式 1-1 构建线性回归模型 class LinearRegressionModel(torch.nn.Module): def __init__(self, input_dim, output_dim): super(LinearRegressionModel, self).__init__() self forward(self, x): out = self.linear(x) return out LinearRegressionModel 是一个自定义的类，继承了 torch. nn.Module，其中 torch.nn.Linear 就表示构建了公式 1-1 的 线性模型，重载方法 forward，表示根据模型计算返回预测 结果。 第三步：创建损失功能与优化器 input_dim