全连接神经网络实战 . pytorch 版 Dezeming Family Dezeming Copyright © 2021-10-02 Dezeming Family Copying prohibited All rights reserved. No part of this publication may be reproduced or transmitted in any 就讲什么。本书不可避免要 参考 [2] 的讲解方式，但我们对讲解顺序和内容，以及程序代码都做了大量的改进。说了那么多， 总之，我们的目标是写一个最好的最容易上手的 pytorch 入门教程——从全连接网络开始。 书中的示例代码在网站页面可以找到。每节末尾会提示“本节代码见 chapterX.py”。 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 pytorch

• THA9OS 14数据集，O/P-%4.1% 7QA-0.() 内容理解——pu/行i检测 ����/���� ���������� • 目的a定x和识别视频h的特定目标，并在目标生命周期内 进行跟踪 • 方法a检测采用>HgLQP IuNNy FQPvQNuVLQP PHVwQTM >-41:) 的GHHR NHDTPLPg框架，对q小物体在IHDVuTH ODR进行ow

jd.com/12954866.html ❑ 联系邮箱(一般问题建议 Github issues 交流)：liangqu.long AT gmail.com ❑ 配套视频课程(收费，提供答疑等全服务，比较适合初学者)： 深度学习与 TensorFlow 入门实战 深度学习与 PyTorch 入门实战 https://study.163.com/course/courseMai n.htm 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 第 10 章 卷积神经网络 10.1 全连接网络的问题 10.2 卷积神经网络 10.3 卷积层实现 10.4 LeNet-5 实战 10.5 表示学习 10.6 梯度传播 10.7 池化层 10.8 BatchNorm

2 网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.4.4 softmax运算 神经网络与GPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 6 卷积神经网络 217 6.1 从全连接层到卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 6.1.1 不变性 13.10.3 与矩阵变换的联系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615 13.11 全卷积网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617 13

. 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 例一：全连接网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.3 所有的模型都可调用，就像网络层一样 . . random.randint(10, size=(100, 1)), num_classes=10) model = Sequential() # Dense(64) 是一个具有 64 个隐藏神经元的全连接层。 # 在第一层必须指定所期望的输入数据尺寸： # 在这里，是一个 20 维的向量。 model.add(Dense(64, activation='relu', input_dim=20)) 是定义复杂模型（如多输出模型、有向无环图，或具有共享层的模型）的 方法。 这部分文档假设你已经对 Sequential 顺序模型比较熟悉。 让我们先从一些简单的例子开始。 3.2.2 例一：全连接网络 Sequential 模型可能是实现这种网络的一个更好选择，但这个例子能够帮助我们进行一些 简单的理解。 • 网络层的实例是可调用的，它以张量为参数，并且返回一个张量 • 输入和输出

数 来引入非线性因素。激活函数都采用非线性函数，常用的有Sigmoid、tanh、ReLU等。 全连接层（ fully connected layers，FC ） 全连接层是一种对输入数据直接做线性变换的线性计算层。它是神经网络中最常用的一种层， 用于学习输出数据和输入数据之间的变换关系。全连接层可作为特征提取层使用，在学习特 征的同时实现特征融合；也可作为最终的分类层使用，其输出神经元的值代表了每个输出类 MNIST Softmax 网络 将表示手写体数字的形如 [784] 的一维向量作为输入；中间定义2层 512 个神经元的隐藏层，具 备一定模型复杂度，足以识别手写体数字；最后定义1层10个神经元的全联接层，用于输出10 个不同类别的“概率”。 实战 MNIST Softmax 网络 MNIST Softmax 网络层 “Hello TensorFlow” Try it MNIST CNN 是常用的一种正则化方法，Dropout层是一种正则化层。全连接层参数量非常庞大（占 据了CNN模型参数量的80%～90%左右），发生过拟合问题的风险比较高，所以我们通常需要 一些正则化方法训练带有全连接层的CNN模型。在每次迭代训练时，将神经元以一定的概率值​ 暂时随机丢弃，即在当前迭代中不参与训练。 Flatten 将卷积和池化后提取的特征摊平后输入全连接网络，这里与 MNIST softmax 网络的输入层类似。

深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 4 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成; • 全连接层块：由三个全连接层组成。 5 ? = 5 ? = 1 6 filter CONV1 POOL1 ? = 2 ? = 2 ? = 5 ? = 1 16 filter ? = 2 ? = 2 CONV2 第一层、第二层和第五层之后，加入窗口形状为 3×3 、步 幅为 2 的最大池化层。 此外，AlexNet 的卷积通道是 LeNet 的10倍。 • 在最后一个卷积层后有两个全连接层，分别有4096个输出。 这两个巨大的全连接层拥有将近 1GB 的模型参数。 由于 早期 GPU 显存有限，原版的 AlexNet 采用了双数据流设计， 使得每个 GPU 只负责存储和计算模型的一半参数。 幸运 的 • SqueezeNet • DenseNet • Inception • GoogLeNet • ShuffleNet • MobileNet 常见模型 3.替换全连接层 # 将最后的全连接层改成十分类 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net.fc = nn.Linear(512

工程相关的工作，加入美团后，负责超大规模机器学习系统，从无到有搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 目录 • 美团超大规模模型场景简介 AUC、Loss、MAE、RMSE  支持外部eval工具，计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案，各阶段提供扩展方案，降低算法迭代成本； • 支持Online Learning，提供从近线到在线的模型数据通路； • 提供从召回到排序全流程的模型解决方案，为业务提供最佳实践； • 提供系统的平台化工具，为用户提供易用的界面操作； MLX模型能力 MLX平台架构 用户侧：能设计完整的特征，个性化，实时特征  Item侧：预计算带来的副作用，不能使用实时特征 点击(+) 仅曝光 同地域 全体集合 分布偏差大 无效信息多 样本分布 • 在线、近线、离线全流程解决方案 召回模型通路 • 粗排模型 • 精排模型 排序模型解决方案 • 粗排阶段的特点  候选集大，通常在千到万级别  线上的响应时间要求高，通常在几到十几ms • 简单模型

Item和User新增，离开/遗忘， Embedding空间动态变化。 短期命中的⾼频key随时间缓慢变化 少量的⾼频key占据了主要访问需求 ⼀段时间样 本命中的 unique key ID/tag/交叉特征 (全量为：亿，千亿) ⼩特征 （个） 中型特征 （百） ID/tag/交叉特征 (千，千万) ⼩特征 （个） 中型特征 （⼗） � 2.2 hotkey现象，且训练与推理的 hotkey⾼度重合 分布式Serving集群 副本1 副本2 Group 1 Group N 副本1 副本2 推理节点 SDK MB级别DNN部分 Sparse Hotkey TB级别Embedding部分 全量模型，TB级，低峰期（Cos存储） 增量模型，GB级，20分钟（Cos存储） 实时模型，KB级，秒（Kafka） 分布式 Serving集群 推理节点 分布式 Serving集群 推理节点 推荐技术 [KDD2020] DCAF: A Dynamic Computation Allocation Framework for Online Serving System � 推荐全链路⾃适应 � 统⼀建模，根据请求量削峰填⾕，资源利⽤最⼤化 [ijcai2021] UNBERT: User-News Matching BERT for News Recommendation

定义一个卷积神经网络 定义损失函数 在训练集上训练网络 在测试集上测试网络 36 4. 训练一个分类器 torch.nn.Linear PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接 层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要 求输入输出是四维张量。 in_features指的是输入的二维张量的大小，即输入的[batch_size atch_size, size]中的size。 out_features指的是输出的二维张量的大小，即输出的二维张量的形状为 [batch_size，output_size]，当然，它也代表了该全连接层的神经元个数。 从输入输出的张量的shape角度来理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。