高阶OP 主讲人：龙良曲 Tensor advanced operation https://blog.openai.com/generative-models/ ▪ Where ▪ Gather where example gather retrieve global label ▪ argmax（pred） to get relative labeling ▪ On some

激活函数及其梯度 主讲人：龙良曲 Activation Functions Derivative Sigmoid / Logistic Derivative torch.sigmoid Tanh = 2??????? 2? − 1 Derivative torch.tanh Rectified Linear Unit Derivative F.relu 下一课时 Loss及其梯度

常见函数梯度 主讲人：龙良曲 Common Functions ?? + ? ??? + ?? ??? + ?? [? − (?? + ?)]? ?log(?? + ?) 下一课时 什么是激活函数 Thank You.

激活函数与GPU加速 主讲人：龙良曲 Leaky ReLU simply SELU softplus GPU accelerated 下一课时 测试 Thank You.

用于描述和解决智能体（agent）在与环境的交 互过程中通过学习策略以达成回报最大化或实现 特定目标的问题 。 2. 机器学习的类型-强化学习 19 ✓ 机器学习方法 ✓ 模型 ✓ 损失函数 ✓ 优化算法 ✓ 模型评估指标 机器学习的概念 20 机器学习的概念-模型 机器学习首先要考虑使用什么样的模型。 模型的类别，大致有两种：一是概率模型(Probabilistic Model)和非概率模型 对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。 感知机、线性支持向量机、KNN、K-means是线性模型。 核支持向量机、AdaBoost、神经网络属于非线性模型。 机器学习的概念-模型 22 1. 0-1损失函数(0-1 Loss Function) L ?, ? ? = ቊ1, ? ≠ ? ? 0, ? = ? ? 2. 平方损失函数(Quadratic Loss ? ? = ? − ? ? 2 3. 绝对损失函数(Absolute Loss Function) L ?, ? ? = ? − ? ? 4. 对数损失函数(Logarithmic Loss Function) L ?, ? ? ? = −log? ? ? 机器学习的概念-损失函数 23 根据上述损失函数模型，我们可知，损失函数值越小，模型性能越好。给定一个数据集，我们将 训练

导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量?在一点?0上产生一个增量??时，函 数输出值的增量??与自变量增量??的比值在 ??趋于0时的极限?如果存在，?即为在?0处的 导数，记作?′(?0)。 32 高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ?也趋近于零，则称 lim Δ?→0 ? ?0 + Δ? − ? ?0 = 0 33 函数?(?) 在点 处连续，需要满足的条件： 存在 1. 函数在该点处有定义 2. 函数在该点处极限 3. 极限值等于函数值 高等数学-函数的连续性 ?0 ?(?0) lim ?→?0? ? 34 ， 如果平均变化率的极限存在 则称此极限为函数 ? = ?(?) 在点 处的导数， 高等数学-导数 limΔ d? (3) ( ? ?)′ = ??′−??′ ?2 (? ≠ 0) d( ? ?) = ?d?−?d? ?2 四则运算法则 设函数? = ?(?)，? = ?(?)在点?可导，则： 高等数学-四则运算法则 37 设函数?(?)在点?0处的某邻域内具有? + 1阶导数，则对该邻域内异于?0的 任意点?，在?0与?之间至少存在一个?，使得： ?(?) = ?(?0)

. . . . . . . . . . . . . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.6 定义优化算法 . . . 4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 ii 3.3.6 定义优化算法

?(?0+??)−?(?0) ?? （1） 或者：?′(?0) = lim ?→?0 ?(?)−?(?0) ?−?0 （2） 3 高等数学 2.左右导数导数的几何意义和物理意义 函数?(?)在?0处的左、右导数分别定义为： 左导数：?′−(?0) = lim ??→0− ?(?0+??)−?(?0) ?? = lim ?→?0− ?(?)−?(?0) ?−?0 , (?0) ?? = lim ?→?0 + ?(?)−?(?0) ?−?0 4 高等数学 3.函数的可导性与连续性之间的关系 Th1: 函数?(?)在?0处可微⇔ ?(?)在?0处可导。 Th2:若函数在点?0处可导，则? = ?(?)在点?0处连续，反之则不成立。即函数连续不一定可 导。 Th3:?′(?0)存在⇔ ?′−(?0) = ?′+(?0) 5 高等数学 4 切线方程 : ? − ?0 = ?′(?0)(? − ?0) 法线方程：? − ?0 = − 1 ?′(?0) (? − ?0), ?′(?0) ≠ 0 6 高等数学 5.四则运算法则 设函数? = ?(?)，? = ?(?)在点?可导，则： (1) ? ± ? ′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′ ?(??) = ??? + ??? (3) ( ?

03 ufunc函数 04 NumPy的函数库 3 1.NumPy概述 01 NumPy概述 02 NumPy数组(ndarry)对象 03 ufunc函数 04 NumPy的函数库 4 NumPy(Numeric Python)是Python的一种开源的数值计算扩展库。 它包含很多功能： · 创建n维数组（矩阵） · 对数组进行函数运算 · 数值积分 ndarray：全称（n-dimensional array object）是储存单一数据类型的 多维数组。 ufunc：全称（universal function object）它是一种能够对数组进行处 理的函数。 NumPy的官方文档： https://docs.scipy.org/doc/numpy/reference/ NumPy是什么？ 7 Anaconda里面已经安装过NumPy。 原生的Python安装： pip install numpy 8 2.NumPy数组(ndarry)对象 01 NumPy概述 02 NumPy数组(ndarry)对象 03 ufunc函数 04 NumPy的函数库 9 1.1 认识 NumPy 数组对象 >import numpy as np # 导入NumPy工具包 >data = np.arange(12).reshape(3, 4)

（1） 或者：?′(?0) = lim ?→?0 ?(?)−?(?0) ?−?0 （2） 2.左右导数导数的几何意义和物理意义 函数?(?)在?0处的左、右导数分别定义为： 左导数：?′−(?0) = lim ??→0− ?(?0+??)−?(?0) ?? = lim ?→?0− ?(?)−?(?0) ?−?0 0+??)−?(?0) ?? = lim ?→?0 + ?(?)−?(?0) ?−?0 3.函数的可导性与连续性之间的关系 Th1: 函数?(?)在?0处可微⇔ ?(?)在?0处可导。 Th2:若函数在点?0处可导，则? = ?(?)在点?0处连续，反之则不成立.即函数连续不一定可 导。 Th3:?′(?0)存在⇔ ?′−(?0) = ?′+(?0) 4.平面曲线的切线和法线 ′(?0)(? − ?0) 法线方程：? − ?0 = − 1 ?′(?0) (? − ?0), ?′(?0) ≠ 0 5.四则运算法则 机器学习的数学基础 2 设函数? = ?(?)，? = ?(?)在点?可导，则： (1) (? ± ?)′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′