链式法则 主讲人：龙良曲 Derivative Rules Basic Rule ▪ ? + ? ▪ ? − ? Product rule ▪ ?? ′ = ?′? + ??′ ▪ ?4′ = ?2 ∗ ?2 ′ = 2? ∗ ?2 + ?2 ∗ 2? = 4?3 Quotient Rule ▪ ? ? = ?′?+??′ ?2 ▪ e.g. Softmax Chain

平面曲线的切线和法线 切线方程 : ? − ?0 = ?′(?0)(? − ?0) 法线方程：? − ?0 = − 1 ?′(?0) (? − ?0), ?′(?0) ≠ 0 6 高等数学 5.四则运算法则 设函数? = ?(?)，? = ?(?)在点?可导，则： (1) ? ± ? ′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′ ?(??) = ??? + ??? (3) 10 高等数学 7.复合函数，反函数，隐函数以及参数方程所确定的函数的微分法 (1) 反函数的运算法则: 设? = ?(?)在点?的某邻域内单调连续，在点?处可导且?′(?) ≠ 0，则 其反函数在点?所对应的?处可导，并且有 ?? ?? = 1 ?? ?? (2) 复合函数的运算法则:若? = ?(?)在点?可导,而? = ?(?)在对应点?(? = ?(?))可导,则复合函 数? 隐函数导数 ?? ??的求法一般有三种方法： 1)方程两边对?求导，要记住?是?的函数，则?的函数是?的复合函数.例如 1 ?，?2，???，e?等 均是?的复合函数. 对?求导应按复合函数连锁法则做。 2)公式法.由?(?, ?) = 0知 ?? ?? = − ?′?(?,?) ?′?(?,?),其中，?′?(?, ?)， ?′?(?, ?)分别表示?(?, ?)对?和?的 偏导数。

平面曲线的切线和法线 切线方程 : ? − ?0 = ?′(?0)(? − ?0) 法线方程：? − ?0 = − 1 ?′(?0) (? − ?0), ?′(?0) ≠ 0 5.四则运算法则 机器学习的数学基础 2 设函数? = ?(?)，? = ?(?)在点?可导，则： (1) (? ± ?)′ = ?′ ± ?′ (2) (??)′ = ℎ??? 7.复合函数，反函数，隐函数以及参数方程所确定的函数的微分法 (1) 反函数的运算法则: 设? = ?(?)在点?的某邻域内单调连续，在点?处可导且?′(?) ≠ 0，则其反函数在点?所对应的?处可导，并且有 ?? ?? = 1 ?? ?? (2) 复合函数的运算法则:若? = ?(?)在点?可导,而? = ?(?)在对应点?(? = ?(?))可导,则 复合函数 ?? ??的求法一般有三种方法： 1)方程两边对?求导，要记住?是?的函数，则?的函数是?的复合函数.例如 1 ?，?2，???，e? 等均是?的复合函数. 对?求导应按复合函数连锁法则做。 2)公式法.由?(?, ?) = 0知 ?? ?? = − ?′?(?,?) ?′?(?,?),其中，?′?(?, ?)， ?′?(?, ?)分别表示?(?, ?)对 ?和?的偏导数。

构造函数！ 编写我们自己的 vector 类！ 看来 vector 也不过如此！让我们自己实现一个 Vector 类试试看 吧 It works! 这个 Vector 类有哪些问题？ 三五法则：规则类怪谈 1. 如果一个类定义了解构函数，那么您必须同时定义 或删除拷贝构造函数和拷贝赋值函数，否则出错。 2. 如果一个类定义了拷贝构造函数，那么您必须同时 定义或删除拷贝赋值函数，否则出错，删除可导致 那么您必须最好同时定义移动构造函数或移动赋值 函数，否则低效。 三五法则是前人总结的，避免犯错的经验。 只告诉做什么，不告诉为什么，是不深入的。 让我们通过撞南墙的方式来深入理解一下。 更多这样的前人经验可以参考： https://github.com/isocpp/ CppCoreGuidelines 三五法则：拷贝构造函数 • 在 = 时，默认是会拷贝的。比如右边这样： • 但是这样对我们当前 也好； RAII 保证异常安全也好；都是在为 面向对象思想的“封装：不变性”服务。 • 即：保证任何单个操作前后，对象都是处于 正确的状态，从而避免程序读到错误数据 （如空悬指针）的情况。 三五法则：拷贝赋值函数 • 区分两种拷贝可以提高性能。 • int x = 1; // 拷贝构造函数 • x = 2; // 拷贝赋值函数 • 拷贝赋值函数≈解构函数 + 拷贝构造函数

缺点：计算机⽆法精准表达⼩数，且绝对值越⼤，越不精准 符号微分： Mul(Const(2), Var(1)) -> Const(2) 缺点：计算结果可能复杂；可能重复计算；难以直接利⽤语⾔原⽣控制流 ⾃动微分：利⽤复合函数求导法则、由基本运算组合进⾏微分 分为前向微分和后向微分 14 符号微分 我们以符号微分定义表达式构建的⼀种语义 1. enum Symbol { 2. Constant(Double) 3. 计算函数值 15. fn Symbol::compute(f : Symbol, input : Array[Double]) -> Double { ... } 15 符号微分 利⽤函数求导法则，我们计算函数的（偏）导数 如果 为常值函数 ⽉兔实现 1. fn differentiate(self : Symbol, val : Int) -> Symbol { 2. match 3. } 4. fn relu[N : Number](x : N) -> N { 5. max(x, N::constant(0.0)) 6. } 20 前向微分 利⽤求导法则直接计算微分，同时计算 与 简单理解：计算 需要同时计算 与 专业术语：线性代数中的⼆元数（Dual Number） 1. struct Forward { 2. value : Double

v dh v 1 j w 2 j w hj w qj w . . . . . . kx ˆky 20 3.BP算法 第三步，计算输出层阈值??的梯度 ??? ??? 利用链式法则，可得 其中， 所以， 更新公式 1h v 输入层 输出层 隐层 ,1 nx , k i x , k d x 1b 2b hb qb . . . . . . . . ො?? ? 1 − ො?? ? ?? ? − ො?? ? ?? ≔ ?? − ??? 21 3.BP算法 第四步，计算隐层到输出层连接 权值???的梯度 ??? ??ℎ? 利用链式法则，可得 其中， 可得 综上可得 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b hb qb . . . . . . . . . ℎ? = ො?? ? ⋅ ො?? ? − ?? ? ⋅ 1 − ො?? ? ⋅ ?ℎ = −???ℎ 22 3.BP算法 第五步，计算隐层阈值??的梯度 ??? ??ℎ 利用链式法则，可得 其中， 所以有 令 更新公式 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b hb qb . . . . . . .

7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 7.6 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 3}，这些梯度会自动保存在每个张量的 grad 成员变量中，代码如下： loss.backward() # 反向传播，计算所有参数的梯度 再使用 optim 对象自动按照梯度更新法则去更新模型的参数?。 ?′ = ? − ? ∙ ?ℒ ?? 实现如下。 # w' = w - lr*grad optimizer.step() # 根据梯度下降算法更新参数 绩册，shape 为[35,8]，张量?保存了另一个班级的成绩册，shape 为[35,8]。合并这两个班 级的数据时，则需要创建一个新维度，定义为班级维度，新维度可以选择放置在任意位 置，一般根据大小维度的经验法则，将较大概念的班级维度放置在学生维度之前，则合并 后的张量的新 shape 应为[2,35,8]，其中 2 代表两个班级。 使用 torch.stack(tensors, dim)可以以堆叠方式合并多个张量，通过

梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 2.4.4 链式法则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 2.5 自动微分 . . 里有一个小插曲：在2009年，如果有人设计了一个很棒的算法来预测电影评分，那可能会赢得100万美元的奈 飞奖12。再比如，预测病人在医院的住院时间也是一个回归问题。总而言之，判断回归问题的一个很好的经 验法则是，任何有关“有多少”的问题很可能就是回归问题。比如： • 这个手术需要多少小时； • 在未来6小时，这个镇会有多少降雨量。 即使你以前从未使用过机器学习，可能在不经意间，已经解决了一些回归问题。例如，你让人修理了排水 178100 3 NaN NaN 140000 2.2.2 处理缺失值 注意，“NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值法和删除法，其中插值法用一个替 代值弥补缺失值，而删除法则直接忽略缺失值。在这里，我们将考虑插值法。 通过位置索引iloc，我们将data分成inputs和outputs，其中前者为data的前两列，而后者为data的最后一列。 对于inputs中缺少

践行哲学，遵循惯例，认清本质，理解原理 • 高频使用的标准库包 （ net 、 http 、 strings 、 time 、 crypto 等 ) • Reflect 反射使用三大法则 • Cgo 使用的开销 • Unsafe 包的安全使用法则 “ 自带电池”，开箱即用 Part10 – 工程实践 践行哲学，遵循惯例，认清本质，理解原理 • Go module • 自定义 go 包导入路径 • Go

52 6. 第六章 正则表达式的构建 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 6.1. 平衡法则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 6.2. 构建正则前提 . . . 与“读”相比，“写”往往更为重要，这个道理是不言而喻的。 对正则的运用，首重就是：如何针对问题，构建一个合适的正则表达式？ 本章就解决该问题，内容包括： • 平衡法则 • 构建正则前提 • 准确性 • 效率 6.1. 平衡法则 构建正则有一点非常重要，需要做到下面几点的平衡： • 匹配预期的字符串 • 不匹配非预期的字符串 • 可读性和可维护性 • 效率 6.2. 构建正则前提