Keras 数据存储的默认目录是： $HOME/.keras/ 注意，Windows 用户应该将 $HOME 替换为 ％USERPROFILE％。如果 Keras 无法创建上述目录 （例如，由于权限问题），则使用 /tmp/.keras/ 作为备份。 Keras 配置文件是存储在 $HOME/.keras/keras.json 中的 JSON 文件。默认的配置文件如 下所示： { "image_data_format": beta_constraint=None, gamma_constraint=None) 批量标准化层 (Ioffe and Szegedy, 2014)。 在每一个批次的数据中标准化前一层的激活项，即，应用一个维持激活项平均值接近 0，标 准差接近 1 的转换。 参数 • axis: 整数，需要标准化的轴（通常是特征轴）。例如，在 data_format="channels_first" 的 Conv2D

训练集数据的模态，具 体表现为学习到的线性模型在训练集上的误差(如均方误差)较大，同时在测试集上面的误 差也较大。 图 9.6 典型的欠拟合模型 当我们发现当前的模型在训练集上误差一直维持较高的状态，很难优化减少，同时在 测试集上也表现不佳时，我们可以考虑是否出现了欠拟合的现象。这个时候可以通过增加 神经网络的层数、增大中间维度的大小等手段，比较好的解决欠拟合的问题。但是由于现 代 tf.reduce_sum(tf.square(w1))\ + tf.reduce_sum(tf.square(w2)) 9.5.4 正则化效果 继续以月牙形的 2 分类数据为例。在维持网络结构等其它超参数不变的条件下，在损 失函数上添加 L2 正则化项，并通过改变不同的正则化超参数?来获得不同程度的正则化效 果。 在训练了 500 个 Epoch 后，我们获得学习模型的分类决策边界，如图 层。例如： # 添加 Dropout 层，断开概率为 0.5 model.add(layers.Dropout(rate=0.5)) 为了验证 Dropout 层对网络训练的影响，我们在维持网络层数等超参数不变的条件 下，通过在 5 层的全连接层中间隔插入不同数量的 Dropout 层来观测 Dropout 对网络训练 的影响。如图 9.25、图 9.26、图 9.27、图 9.28

gt. (11.7.5) 在这里，操作是按照坐标顺序应用。也就是说，v2有条目v2 i 。同样， 1 √v有条目 1 √vi ，并且u · v有条目uivi。与 之前一样，η是学习率，ϵ是一个为维持数值稳定性而添加的常数，用来确保我们不会除以0。最后，我们初始 化s0 = 0。 就像在动量法中我们需要跟踪一个辅助变量一样，在AdaGrad算法中，我们允许每个坐标有单独的学习率。 与SGD