激活函数及其梯度 主讲人：龙良曲 Activation Functions Derivative Sigmoid / Logistic Derivative torch.sigmoid Tanh = 2??????? 2? − 1 Derivative torch.tanh Rectified Linear Unit Derivative F.relu 下一课时 Loss及其梯度

激活函数与GPU加速 主讲人：龙良曲 Leaky ReLU simply SELU softplus GPU accelerated 下一课时 测试 Thank You.

14 dot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 5.9 高级激活层 Advanced Activations . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 5.9.1 LeakyReLU [source] . . . . . . . . . . . . . . 142 10 激活函数 Activations 143 10.1 激活函数的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 10.2 预定义激活函数 . . . . . . . . . . . . . . . . . 10 linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 10.3 高级激活函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 目录 VIII 11 回调函数

神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 经网络被叫作深度学习的由来。2011 年，Xavier Glorot 提出了线性整流单元(Rectified Linear Unit，简称 ReLU)激活函数，这是现在使用最为广泛的激活函数之一。2012 年， Alex Krizhevsky 提出了 8 层的深层神经网络 AlexNet，它采用了 ReLU 激活函数，并使用 Dropout 技术来防止过拟合，同时抛弃了逐层预训练的方式，直接在两块 NVIDIA GTX580 GPU 3.5 非线性模型 既然线性模型不可行，那么可以给线性模型嵌套一个非线性函数，即可将其转换为非 线性模型。通常把这个非线性函数称为激活函数(Activation Function)，用?表示： = ?(?? + ?) 这里的?代表了某个具体的非线性激活函数，如 Sigmoid 函数(图 3.9(a))、ReLU 函数(图 3.9(b))。 预览版202112 3.6 表达能力

外部数据，如纹理图像和其他资源，可以存储在blend⽂件（打包）内或作 为单独的⽂件（未打包）存储。 Blender通过相对或绝对路径跟踪所有未打 包的资源。 请参阅 打包或解包外部数据 。 ⾃动打包到 .blend ⽂件 此选项激活⽂件打包功能。 如果启⽤，则每次保存.blend⽂件时，所有 外部⽂件都将保存（打包）在其中。 全部打包到 .blend ⽂件 打包所有使⽤的外部数据到.blend ⽂件。 解包到⽂件 解包 载 UI 表⽰Blender应该使⽤该⽂件的屏幕布局，⽽不是当前的布局。 可将⼀组⾃定义的⼯作区保存为 默认 的⼀部分。 ⼯作区设置 参考 属性 活动⼯具与⼯作区设置 ‣ ⼯作区 模式 激活⼯作区时切换到此 模式。 过滤插件 决定哪些 插件 在活动⼯作区被启⽤。当不勾选时，将使⽤全局插件。当选中 时，你可以在下⾯的列表中启⽤单个插件。 状态栏 状态栏位于Blender窗⼜的底部 移动⿏标光标移到两个区域之间的边界，直到 它变成⼀个双向箭头，然后按下并拖动。 拆分 分割⼀个区域将创建⼀个新的区域。将⿏标光 标放在⼀个区域的⾓上，光标会变成⼀个⼗字 （+），代表按下 LMB 就会激活分割或连接。 从⼀个区域的⾓向内 拖动 将该区域的拆分。 你可以通过⽔平或垂直拖动来定义分割⽅向。 属性正被加⼊到 "⼤纲" 中。 合并 从⼀个区域的⾓落 向外 拖动，将两个区域 连 接 起来。将被关闭的区域会显⽰⼀个较暗的浮

外部数据，如纹理图像和其他资源，可以存储在blend⽂件（打包）内或作 为单独的⽂件（未打包）存储。 Blender通过相对或绝对路径跟踪所有未打 包的资源。 请参阅 打包或解包外部数据 。 ⾃动打包到 .blend ⽂件 此选项激活⽂件打包功能。 如果启⽤，则每次保存.blend⽂件时，所有 外部⽂件都将保存（打包）在其中。 全部打包到 .blend ⽂件 打包所有使⽤的外部数据到.blend ⽂件。 解包到⽂件 解包 载 UI 表⽰Blender应该使⽤该⽂件的屏幕布局，⽽不是当前的布局。 可将⼀组⾃定义的⼯作区保存为 默认 的⼀部分。 ⼯作区设置 参考 属性 活动⼯具与⼯作区设置 ‣ ⼯作区 模式 激活⼯作区时切换到此 模式。 过滤插件 决定哪些 插件 在活动⼯作区被启⽤。当不勾选时，将使⽤全局插件。当选中 时，你可以在下⾯的列表中启⽤单个插件。 状态栏 状态栏位于Blender窗⼜的底部 移动⿏标光标移到两个区域之间的边界，直到 它变成⼀个双向箭头，然后按下并拖动。 拆分 分割⼀个区域将创建⼀个新的区域。将⿏标光 标放在⼀个区域的⾓上，光标会变成⼀个⼗字 （+），代表按下 LMB 就会激活分割或连接。 从⼀个区域的⾓向内 拖动 将该区域的拆分。 你可以通过⽔平或垂直拖动来定义分割⽅向。 属性正被加⼊到 "⼤纲" 中。 合并 从⼀个区域的⾓落 向外 拖动，将两个区域 连 接 起来。将被关闭的区域会显⽰⼀个较暗的浮

外部数据，如纹理图像和其他资源，可以存储在blend⽂件（打包）内或作为单 独的⽂件（未打包）存储。 Blender通过相对或绝对路径跟踪所有未打包的资 源。 请参阅 打包或解包外部数据 。 ⾃动打包到 .blend ⽂件 此选项激活⽂件打包功能。 如果启⽤，则每次保存.blend⽂件时，所有外 部⽂件都将保存（打包）在其中。 全部打包到 .blend ⽂件 打包所有使⽤的外部数据到.blend ⽂件。 解包到⽂件 解包 表⽰Blender应该使⽤该⽂件的屏幕布局，⽽不是当前的布局。 可将⼀组⾃定义的⼯作区保存为 默认 的⼀部分。 ⼯作区设置 参考 编辑器: 属性 菜单: 活动⼯具与⼯作区设置 ‣ ⼯作区 模式 激活⼯作区时切换到此 模式。 过滤插件 决定哪些 插件 在活动⼯作区被启⽤。当不勾选时，将使⽤全局插件。当选中时，你 可以在下⾯的列表中启⽤单个插件。 状态栏 状态栏位于Blender窗⼜的底部 并拖动边界调整区域⼤⼩。移动⿏标光标到两个区域之间的 边界，直到它变成⼀个双向箭头，然后按下并拖动。 拆分 分割⼀个区域将创建⼀个新的区域。将⿏标光标放在⼀个区域的⾓上，光标会 变成⼀个⼗字（+），代表按下 LMB 就会激活分割或连接。从⼀个区域的⾓向 内 拖动 将该区域的拆分。你可以通过⽔平或垂直拖动来定义分割⽅向。 合并 属性正被加⼊到 "⼤纲" 中。 从⼀个区域的⾓落 向外 拖动，将两个区域 连接 起来。将被关闭的区域会显⽰

unpacked resources via a relative or absolute path. See pack or unpack external Data. ⾃动打包到 .blend ⽂件 此选项激活⽂件打包功能。 如果启⽤，则每次保存.blend⽂件时，所有 外部⽂件都将保存（打包）在其中。 全部打包到 .blend ⽂件 打包所有使⽤的外部数据到.blend ⽂件。 解包到⽂件 解包 overriding the current layout. See Load UI. 可将⼀组⾃定义的⼯作区保存为 默认 的⼀部分。 ⼯作区设置 参考 属性 活动⼯具与⼯作区设置 ‣ ⼯作区 模式 激活⼯作区时切换到此 模式。 过滤插件 Filters which Add-ons are enabled in the active workspace. Keeping the checkbox ⼯具 打开光标下⽅的⼯具栏，快速改变活动⼯具。如果你正在做⼤量的建模 或索具⼯作，这个选项就很好。 查找 打开 菜单搜索。这个选项对不太熟悉菜单和快捷键的Blender新⼿⾮常 有⽤。 激活⼩⼯具事件 The activation event for gizmos that support drag motion. 按下 Allows immediate activation, preventing

外部数据，如纹理图像和其他资源，可以存储在blend⽂件（打包）内或作 为单独的⽂件（未打包）存储。 Blender通过相对或绝对路径跟踪所有未打 包的资源。 请参阅 打包或解包外部数据 。 ⾃动打包到 .blend ⽂件 此选项激活⽂件打包功能。 如果启⽤，则每次保存.blend⽂件时，所有 外部⽂件都将保存（打包）在其中。 全部打包到 .blend ⽂件 打包所有使⽤的外部数据到.blend ⽂件。 解包到⽂件 解包 载 UI 表⽰Blender应该使⽤该⽂件的屏幕布局，⽽不是当前的布局。 可将⼀组⾃定义的⼯作区保存为 默认 的⼀部分。 ⼯作区设置 参考 属性 活动⼯具与⼯作区设置 ‣ ⼯作区 模式 激活⼯作区时切换到此 模式。 过滤插件 决定哪些 插件 在活动⼯作区被启⽤。当不勾选时，将使⽤全局插件。当选中 时，你可以在下⾯的列表中启⽤单个插件。 状态栏 状态栏位于Blender窗⼜的底部 移动⿏标光标到两个区域之间的边界，直到它 变成⼀个双向箭头，然后按下并拖动。 拆分 分割⼀个区域将创建⼀个新的区域。将⿏标光 标放在⼀个区域的⾓上，光标会变成⼀个⼗字 （+），代表按下 LMB 就会激活分割或连接。 从⼀个区域的⾓向内 拖动 将该区域的拆分。 你可以通过⽔平或垂直拖动来定义分割⽅向。 属性正被加⼊到 "⼤纲" 中。 合并 从⼀个区域的⾓落 向外 拖动，将两个区域 连 接 起来。将被关闭的区域会显⽰⼀个较暗的浮

外部数据，如纹理图像和其他资源，可以存储在blend⽂件（打包）内或作 为单独的⽂件（未打包）存储。 Blender通过相对或绝对路径跟踪所有未打 包的资源。 请参阅 打包或解包外部数据 。 ⾃动打包到 .blend ⽂件 此选项激活⽂件打包功能。 如果启⽤，则每次保存.blend⽂件时，所有 外部⽂件都将保存（打包）在其中。 全部打包到 .blend ⽂件 打包所有使⽤的外部数据到.blend ⽂件。 解包到⽂件 解包 载 UI 表⽰Blender应该使⽤该⽂件的屏幕布局，⽽不是当前的布局。 可将⼀组⾃定义的⼯作区保存为 默认 的⼀部分。 ⼯作区设置 参考 属性 活动⼯具与⼯作区设置 ‣ ⼯作区 模式 激活⼯作区时切换到此 模式。 过滤插件 决定哪些 插件 在活动⼯作区被启⽤。当不勾选时，将使⽤全局插件。当选中 时，你可以在下⾯的列表中启⽤单个插件。 状态栏 状态栏位于Blender窗⼜的底部 移动⿏标光标到两个区域之间的边界，直到它 变成⼀个双向箭头，然后按下并拖动。 拆分 分割⼀个区域将创建⼀个新的区域。将⿏标光 标放在⼀个区域的⾓上，光标会变成⼀个⼗字 （+），代表按下 LMB 就会激活分割或连接。 从⼀个区域的⾓向内 拖动 将该区域的拆分。 你可以通过⽔平或垂直拖动来定义分割⽅向。 属性正被加⼊到 "⼤纲" 中。 合并 从⼀个区域的⾓落 向外 拖动，将两个区域 连 接 起来。将被关闭的区域会显⽰⼀个较暗的浮