激活函数及其梯度 主讲人：龙良曲 Activation Functions Derivative Sigmoid / Logistic Derivative torch.sigmoid Tanh = 2??????? 2? − 1 Derivative torch.tanh Rectified Linear Unit Derivative F.relu 下一课时 Loss及其梯度

常见函数梯度 主讲人：龙良曲 Common Functions ?? + ? ??? + ?? ??? + ?? [? − (?? + ?)]? ?log(?? + ?) 下一课时 什么是激活函数 Thank You.

激活函数与GPU加速 主讲人：龙良曲 Leaky ReLU simply SELU softplus GPU accelerated 下一课时 测试 Thank You.

. . . . . . . . . . . . . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.6 定义优化算法 . . . 4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 ii 3.3.6 定义优化算法

的相同的栈式 LSTM 模型 . . . . . . . . . . . . 15 3.2 函数式 API 指引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . 47 4.2.3.11 get_layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.3 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.1 Model . . . . . . . . . . . . . . . . 133 7 损失函数 Losses 134 7.1 损失函数的使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 7.2 可用损失函数 . . . . . . . . . . . . . . . . . . . .

1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 7 7.6 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 WGAN 原理 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 强化学习 14.1 先睹为快 14.2 强化学习问题 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程

前置知识：监督学习（Supervised Learning） 监督学习是机器学习的一种方法，指从训练数据（输入和预期输出）中学到一个模型（函数）， 并根据模型可以推断新实例的方法。 函数的输出通常为一个连续值（回归分析）或类别标签（分类）。 训练数据 学习算法 模型 新数据 推断结果 前置知识：监督学习典型算法 • 线性回归（Linear Regression） • 逻辑回归（Logistic Regression） 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变 量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线 性组合。 前置知识：单变量线性回归 理想函数 假设函数 损失值（误差） 前置知识：单变量线性回归 前置知识：梯度下降 前置知识：多变量线性回归 假设函数 损失值（误差） 理想函数 前置知识：梯度下降 单变量房价预测问题 单变量房价预测问题 假设函数： 面积（平方英尺） 价格（美元） 2104 399900 1600 329900 2400 369000 1416 232000 3000 539900 1985 299900 1534 314900 1427 198999 1380 212000 1494 242500 训练数据： 多变量房价预测问题：数据分析 面积（平方英尺） 卧室数量（个）

矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 单位矩阵和对角矩阵 单位矩阵, ，它是一个方阵，对角线的元素是1，其余元素都是0： 对于所有 ，有： 注意，在某种意义上，单位矩阵的表示法是不明确的，因为它没有指定 的维数。通常， 的维数是从上 下文推断出来的，以便使矩阵乘法成为可能。 例如，在上面的等式中， 中的I是 矩阵，而 中的 是 矩阵。 对角矩阵是一种这样的矩阵：对角线之外的元素全为0。对角阵通常表示为： ，其中： 很明显：单位矩阵 加法的可交换性和相关性，以便重新排列求和的顺序。 3.5 范数 向量的范数 是非正式度量的向量的“长度” 。 例如，我们有常用的欧几里德或 范数， 注意： 更正式地，范数是满足4个属性的函数（ ）： 1. 对于所有的 , (非负). 2. 当且仅当 时， (明确性). 3. 对于所有 , ，则 (正齐次性). 4. 对于所有 , (三角不等式) 其他范数的例子是

（3）InfoGAN--信息最大化生成对抗网 络，通过隐变量控制语义变化。 图 InfoGAN的结构 2. GAN的理论与实现模型 21 GAN的衍生模型 GAN的理论与实现模型 （4）WGAN --定义了明确的损失函数，对 G&D 的距离给出了数学 定义，较好地解决了训练坍塌问题。 图 WGAN的结构 2. GAN的理论与实现模型 22 GAN的衍生模型 GAN的理论与实现模型 （5） EBGAN- GAN生成具有对抗性的病毒代 码样本，实验结果表明基于 GAN 的方法可以比传统基于黑盒检测模型的方法 性能更好。 b. 也有人提出了一个扩展 GAN 的生成器，用判别器来正则化生成器而不是 用一个损失函数，用国际象棋实验示例证明了所提方法的有效性。 3. GAN的应用 29 03 GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 的研究进展表明它具有广阔的发展前景。 如WGAN 彻底解决了训练不稳定问题，同时基本解决了崩溃模式现象。未来研究方向 可以是： （1）如何彻底解决崩溃模式并继续优化训练过程 。 （2）关于 GAN 收敛性和均衡点存在性的理论推断。 （3）如何将GAN 与特征学习、模仿学习、强化学习等技术更好地融合 , 开 发新的人工智能应用或者促进这些方法的发展 。 4. GAN的思考与前景 34 参考文献 1. 江苏师范大学，申亚博老师课件

Context矩 阵（即使两个矩阵都在我们的词汇表中嵌入了每个单词）。 23 3.Word2Vec 训练流程 现在我们需要一种方法将这些分数转化为看起来像概率的东西 ： 使用sigmoid函数把概率转换为0和1。 然后，我们计算输入嵌入与每个上下文嵌入的点积。在每种情况 下，会产生一个数字，该数字表示输入和上下文嵌入的相似性。 24 3.Word2Vec 训练流程 现在我们可以将 机器学习使学习算法同质化（例如，逻辑回归），深度学习使模型架构同质化（如卷积神经网络），而基础模型使模型本身同质化（比如， GPT-3）。 图37：人工智能的发展呈现同质化的过程 随着机器学习的引入，任务是如何执行的 （自动推断）从例子中显现出来 随着深度学习， 用于预测的高级 特征出现 有了基础模型，甚至出现了情境学习等高级 功能 ChatGPT核心技术优势 42 ChatGPT以基础模型为杠杆，可适用多类下游任务