深度学习与PyTorch入门实战 - 43. nn.Module

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档详细介绍了PyTorch中的nn.Module模块及其应用。通过示例展示了如何使用nn.Module构建自定义层，如MyLinear类，并说明了神经网络模块的创建方法。文档还涉及了nn.Sequential的使用、modules和children的子模块处理方法，以及其他常见层如nn.Conv2d、nn.BatchNorm2d等，帮助用户理解和应用深度学习模型的模块化设计。

AI总结

PyTorch 中的 `nn.Module` 是构建和管理神经网络模块的基础类。通过继承 `nn.Module`，用户可以自定义神经网络层，并利用其提供的丰富功能来构建复杂的模型。

### 1. **nn.Module 的核心作用**
- `nn.Module` 是 PyTorch 中所有神经网络层和模型的根基。
- 用户可以通过继承 `nn.Module` 自定义网络层。
- 它提供了参数管理、前向传播和反向传播等核心功能。

### 2. **自定义层的实现**
- 通过继承 `nn.Module`，可以定义自定义层。例如：

     class MyLinear(nn.Module):
         def __init__(self, inp, outp):
             super(MyLinear, self).__init__()
             self.w = nn.Parameter(torch.randn(outp, inp))
             self.b = nn.Parameter(torch.randn(outp))
         
         def forward(self, x):
             return x @ self.w.t() + self.b

- 在 `__init__` 方法中定义参数（`nn.Parameter`），在 `forward` 方法中定义前向传播逻辑。

### 3. **模块化网络设计**
- PyTorch 提供了丰富的内置层（如 `nn.Linear`、`nn.Conv2d`、`nn.BatchNorm2d` 等），这些层均继承自 `nn.Module`。
- 多个 `nn.Module` 可以嵌套使用，形成复杂的网络结构。例如：

     class Net(nn.Module):
         def __init__(self):
             super(Net, self).__init__()
             self.net = nn.Sequential(
                 nn.Conv2d(1, 16, kernel_size=3, stride=2, padding=True),
                 nn.MaxPool2d(2, 2),
                 nn.Flatten(),
                 nn.Linear(1 * 14 * 14, 19)
             )
         
         def forward(self, x):
             return self.net(x)

- 通过 `nn.Sequential` 或自定义的模块化设计，可以方便地构建和管理复杂网络。

### 4. **常用层和模块**
- PyTorch 提供了多种内置层，包括：
- `nn.Linear`：全连接层。
- `nn.ReLU`、`nn.Sigmoid` 等激活函数。
- `nn.Conv2d`、`nn.ConvTranspose2d`：卷积层和反卷积层。
- `nn.Dropout`：随机丢弃层。
- `nn.BatchNorm2d`：批归一化层。
- 每一层都是 `nn.Module` 的实例，可以灵活组合使用。

### 5. **模块管理**
- 通过 `modules()` 方法可以访问模块的所有子模块。
- 通过 `children()` 方法可以访问直接子模块。

### 总结
PyTorch 的 `nn.Module` 提供了灵活且强大的界面，方便用户定义和组合各种神经网络层。通过继承 `nn.Module`，用户可以轻松实现自定义层，并结合内置层快速构建复杂模型。