3，实现如下： In [43]: from torch import nn # 导入神经网络子库 # 创建一层 Wx+b，输出节点为 3, 输出节点数为 4 fc = nn.Linear(3, 4) fc.bias # 查看偏置向量 Out[43]: Parameter containing: tensor([-0.3838, -0.4073, -0.3051, -0 个节点，输出 3 个节点的网络层，并通过全连接层的 kernel 成员名查 看其权值矩阵?： In [45]: # 定义全连接层的输出节点为 3, 输入节点为 4 fc = nn.Linear(4, 3) fc.weight # 查看权值矩阵 W Out[45]: Parameter containing: tensor([[-0.1410, 0.1454, -0.3955 创建全连接层，指定输入节点数和输出节点数 fc = nn.Linear(28*28, 512) # 通过 fc 类实例完成一次全连接层的计算，返回输出张量 h1 = fc(x) print('h1:', h1.shape) Out[2]: h1: torch.Size([4, 512]) 预览版202112 6.2 全连接层 5 上述通过一行代码即可以创建一层全连接层实例 fc，并指定输入节点数为

Predictions”或“Late Submission”按钮（在撰写本文时，该按钮位于右侧）。 • 点击页面底部虚线框中的“Upload Submission File”按钮，选择要上传的预测文件。 • 点击页面底部的“Make Submission”按钮，即可查看结果。 4.10. 实战Kaggle比赛：预测房价 189 图4.10.3: 向Kaggle提交数据 小结 • 真实数据通常混合了不同的数据类型，需要进行预处理。 resnet_block(256, 512, 2)) net.add_module("global_avg_pool", nn.AdaptiveAvgPool2d((1,1))) net.add_module("fc", nn.Sequential(nn.Flatten(), nn.Linear(512, num_classes))) return net 12.6.2 网络初始化 我们将在训练回路中初始化网络。请参见 torchvision.models.resnet18(pretrained=True) 预训练的源模型实例包含许多特征层和一个输出层fc。此划分的主要目的是促进对除输出层以外所有层的模 型参数进行微调。下面给出了源模型的成员变量fc。 pretrained_net.fc 560 13. 计算机视觉 Linear(in_features=512, out_features=1000, bias=True)

5) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16 * 5 * 5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): # x = x.view(-1, self.num_flat_features(x)) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x def num_flat_features(self, x): size 16, kernel_size=(5, 5), stride=(1, 1)) (fc1): Linear(in_features=400, out_features=120, bias=True) (fc2): Linear(in_features=120, out_features=84, bias=True) (fc3): Linear(in_features=84, out_features=10

CONV2 28x28x6 14x14x6 MAXPOOL 10x10x16 MAXPOOL 5x5x16 POOL2 F C F C FC2 FC3 S O F T M A X 120 84 10 F C FC2 LeNet-5 32x32x1 400 6 AlexNet • 2012年，AlexNet 横空出世。它首次证 明了学习到的特征可以超越手工设计 Conv3-32 Conv3-32 Conv3-32 Max-Pool Conv3-32 Conv3-128 Conv3-64 Conv3-64 Max-Pool Max-Pool FC-512 Output ConvNet Configuration Stacked layers Previous input x F(x) y=F(x) Stacked layers 替换全连接层 # 将最后的全连接层改成十分类 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net.fc = nn.Linear(512, 10) 4.卷积神经网络使用技巧 30 参考文献 • IAN GOODFELLOW等，《深度学习》，人民邮电出版社，2017 • Andrew Ng，http://www

filter ? = 2 ? = 2 CONV2 28x28x6 14x14x6 MAXPOOL 10x10x16 MAXPOOL 5x5x16 POOL2 F C F C FC3 FC4 S O F T M A X 120 84 10 激活维度 激活尺寸 参数个数 输入 （32,32,3） 3072 0 CONV1 （f=5, s=1,6filter） （28,28 16filter） （10,10,16） 1600 2416=(6 x 5x5+1) x16 POOL2 （5,5,16） 400 0 FC2 （400,1） 400 48,120 =400 x120+120 FC3 （120,1） 120 10164=120x84+84 FC4 （84,1） 84 850=84 x10+10 Softmax （10,1） 10 0 F C 400 26 卷积神经网络作用

convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556. 验证码识别模型结构 fc1 fc2 fc3 fc4 [0,0,1,0,0,0,0,0,0,0, 0,1,0,0,0,0,0,0,0,0, 0,0,0,0,1,0,0,0,0,0, 1,0,0,0,0,0,0,0,0,0,] AlexNet

深层循环神经网络 16 3.长短期记忆(LSTM) L L L L L L L C C C C C C C FC SM L L L C C C 17 3.长短期记忆(LSTM) L L L L L L L C C C C C C C FC SM L L L C C C lstm=nn.LSTM(input size=10,hidden size=20,num

为了实现神经网络的非线性建模能力，解决一些线性不可分的问题，我们通常使用激活函数 来引入非线性因素。激活函数都采用非线性函数，常用的有Sigmoid、tanh、ReLU等。 全连接层（ fully connected layers，FC ） 全连接层是一种对输入数据直接做线性变换的线性计算层。它是神经网络中最常用的一种层， 用于学习输出数据和输入数据之间的变换关系。全连接层可作为特征提取层使用，在学习特 征的同时实现特征融合

• 第四步，调优Faster RCNN,由第三步的RPN model初始化Faster RCNN网络，输入数据为第三步生 成的proposals。保持共享的卷积层固定，微调Faster RCNN的FC层。这样，两个网络共享相同的 卷积层，构成一个统一的网络。 41 4.Faster RCNN算法 Conv layers 42 参考文献 1. IAN GOODFELLOW等，《深度学习》，人民邮电出版社，2017

压缩算法不适应推荐场景 思考： 线上服务 成本 训练任务 成本 内存是主要瓶颈 > Embedding table可以设计得更⼩么？Double Hashing Embedding Table与第⼀层fc可以看作低秩矩阵分解 亿 亿 512 512 9 9 原始矩阵 矩阵分解 压缩⼿段除了量化和稀疏化，还有什么？因式分解 问题： 1. Embedding Table的信息仍然⾮常稀疏