f(x) = log x, we have log( N � i=1 λixi) ≥ N � i=1 λi log(xi) (28) log(E[X]) ≥ E[log(X)] (29) 6.3 EM Algorithm Let {x(1), x(2), · · · , x(m)} be a set of training data without labels. The log- likelihood

5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8 MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 = {1 ?T? + ? ≥ 0 0 ?T? + ? < 0 也可以是符号函数(Sign function)，如图 6.3 所示，表达式为： = { 1 ?T? + ? ≥ 0 −1 ?T? + ? < 0 图 6.2 阶跃函数 图 6.3 符号函数 添加激活函数后，感知机可以用来完成二分类任务。阶跃函数和符号函数在? = 0处是 不连续的，其他位置导数为 方法中实现?(?@? + ?)的运算逻辑(或者?@?? + ?的)，非常简单，最后返回全连接层的输出张量即可,读者朋友可自行阅读 PyTorch 的对应 部分源代码学习官方的实现方式。 6.3 神经网络 通过层层堆叠图 6.4 中的全连接层，同时保证前一层的输出节点数与当前层的输入节 点数匹配，，即可堆叠出任意层数的网络。我们把这种由神经元相互连接而成的网络叫做神 经网络。如图 6

. 123 6.2.4 text_to_word_sequence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 6.3 图像预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 6.3.1 @[\]^_{|}~，包含基本标点符号，制表符和换行符。 • lower: 布尔值。是否将文本转换为小写。 数据预处理 124 • split: 字符串。按该字符串切割文本。 返回 词或标记的列表。 数据预处理 125 6.3 图像预处理 6.3.1 ImageDataGenerator 类 keras.preprocessing.image.ImageDataGenerator(featurewise_center=False

227 6.2.6 特征映射和感受野 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 6.3 填充和步幅 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228 运算表示为矩阵乘法？ 4. 手工设计一些卷积核。 1. 二阶导数的核的形式是什么？ 2. 积分的核的形式是什么？ 3. 得到d次导数的最小核的大小是多少？ Discussions83 6.3 填充和步幅 在前面的例子 图6.2.1中，输入的高度和宽度都为3，卷积核的高度和宽度都为2，生成的输出表征的维数 为2 × 2。正如我们在 6.2节中所概括的那样，假设输入形状为nh × nw，卷积核形状为kh 请注意，这里每边都填充了1行或1列，因此总共添加了2行或2列 conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1) (continues on next page) 6.3. 填充和步幅 229 (continued from previous page) X = torch.rand(size=(8, 8)) comp_conv2d(conv2d, X).shape