权重衰减 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 4.5.1 高维线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 4.5.2 从零开始实现 们想要的。让我们回顾一下 3.1节中的线性回归 例子。我们的损失由下式给出： L(w, b) = 1 n n � i=1 1 2 � w⊤x(i) + b − y(i)�2 . (4.5.1) 回想一下，x(i)是样本i的特征，y(i)是样本i的标签，(w, b)是权重和偏置参数。为了惩罚权重向量的大小，我 们必须以某种方式在损失函数中添加∥w∥2，但是模型应该如何平衡这个新的额外惩罚的损失？实际上，我们 约束的w，而较大的λ值对w的约束更大。 是否对相应的偏置b2进行惩罚在不同的实践中会有所不同，在神经网络的不同层中也会有所不同。通常，网 络输出层的偏置项不会被正则化。 150 4. 多层感知机 4.5.1 高维线性回归 我们通过一个简单的例子来演示权重衰减。 %matplotlib inline import torch from torch import nn from d2l import

要的物理意义和用途，对后续张量的维 度变换等一系列抽象操作的学习打下基础。 本节在介绍典型应用时不可避免地会提及后续将要学习的网络模型或算法，学习时不 需要完全理解，有初步印象即可。 4.5.1 标量 标量最容易理解，它就是一个简单的数字，维度数为 0，shape 为[]。标量的典型用途 有误差值的表示、各种测量指标的表示，比如准确率(Accuracy，简称 acc)，精度(Precision)