omega omiga 欧米 29 3. 机器学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 30 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量 概率论与数理统计-随机事件和概率 事件的关系 (1) 子事件：? ⊂ ?，若?发生，则?发生。 (2) 相等事件：? = ?，即? ⊂ ?，且? ⊂ ? 。 (3) 和事件：?⋃?（或? + ?），?与?中至少有一个发生。 (4) 差事件：? − ?，?发生但?不发生。 (5) 积事件：?⋂?（或??），?与?同时发生。 (6) 互斥事件（互不相容）：?⋂?=⌀。 (7) 互逆事件（对立事件）： Python模块 59 Python模块-NumPy ⚫NumPy NumPy是一个用Python实现的科学计算的扩展程序库，包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric

omega omiga 欧米 30 3. 深度学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 31 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量 概率论与数理统计-随机事件和概率 事件的关系 (1) 子事件：? ⊂ ?，若?发生，则?发生。 (2) 相等事件：? = ?，即? ⊂ ?，且? ⊂ ? 。 (3) 和事件：?⋃?（或? + ?），?与?中至少有一个发生。 (4) 差事件：? − ?，?发生但?不发生。 (5) 积事件：?⋂?（或??），?与?同时发生。 (6) 互斥事件（互不相容）：?⋂?=⌀。 (7) 互逆事件（对立事件）： Python模块 60 Python模块-NumPy ⚫NumPy NumPy是一个用Python实现的科学计算的扩展程序库，包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric

2 运算符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.1.3 广播机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.1.4 索引和切片 False]]) 对张量中的所有元素进行求和，会产生一个单元素张量。 X.sum() tensor(66.) 2.1.3 广播机制 在上面的部分中，我们看到了如何在相同形状的两个张量上执行按元素操作。在某些情况下，即使形状不同， 我们仍然可以通过调用 广播机制（broadcasting mechanism）来执行按元素操作。这种机制的工作方式如 下： 1. 通过适当复制元素来扩展一 在大多数情况下，我们将沿着数组中长度为1的轴进行广播，如下例子： a = torch.arange(3).reshape((3, 1)) b = torch.arange(2).reshape((1, 2)) a, b (tensor([[0], [1], [2]]), tensor([[0, 1]])) 由于a和b分别是3 × 1和1 × 2矩阵，如果让它们相加，它们的形状不匹配。我们将两个矩阵广播为一个更大 的3

（批量）。 触发 • ValueError: 防止不正确的 count_mode 11.1.5 History [source] keras.callbacks.History() 把所有事件都记录到 History 对象的回调函数。 这个回调函数被自动启用到每一个 Keras 模型。History 对象会被模型的 fit 方法返回。 11.1.6 ModelCheckpoint [source] headers=None) 将事件数据流到服务器的回调函数。 需要 requests 库。事件被默认发送到 root + '/publish/epoch/end/'。采用 HTTP POST ，其中的 data 参数是以 JSON 编码的事件数据字典。 参数 • root: 字符串；目标服务器的根地址。 • path: 字符串；相对于 root 的路径，事件数据被送达的地址。 • field: 执行归约操作的轴。 • keepdims: 是否放弃或广播归约的轴。 返回 一个 uint8 张量 (0s 和 1s)。 all keras.backend.all(x, axis=None, keepdims=False) 按位归约（逻辑 AND）。 参数 • x: 张量或变量。 • axis: 执行归约操作的轴。 • keepdims: 是否放弃或广播归约的轴。 返回 一个 uint8 张量

它转换 成整型。 y.astype(np.int) 29 广播(broadcasting) 使用ufunc对两个数组进行运算时，ufunc函数会对两个数组的对应元素进 行运算。如果数组的形状不相同，就会进行下广播处理。 简而言之，就是向两个数组每一维度上的最大值靠齐。 30 广播(broadcasting) 31 广播(broadcasting) 我们看一下具体的例子： > a 31, 32, 33, 34], [40, 41, 42, 43, 44], [50, 51, 52, 53, 54]] 32 广播(broadcasting) ogrid用来生成广播运算所用的数组。 > x, y = np.ogrid[:5, :5] x y ----- ----------------- [[0] maximum(a[None, :], b[:, None])#maxinum返回两组 array([[2, 3, 5, 7], 矩阵广播计算后的 [4, 4, 5, 7], 结果 [6, 6, 6, 7]]) 函数名 功能 函数名 功能 min 最小值

之间的张量复制操作十分频繁，那么有没有轻量级的复制操作呢？这 就是接下来要介绍的 Broadcasting 操作。 4.8 Broadcasting 机制 Broadcasting 称为广播机制(或自动扩展机制)，它是一种轻量级的张量复制手段，在逻 辑上扩展张量数据的形状，但是只会在需要时才会执行实际存储复制操作。对于大部分场 景，Broadcasting 机制都能通过优化手段避免实际复制数据而完成逻辑运算，从而相对于上 同样地，对于二分类问题，如硬币的正反面的预测，输出层可以只设置一个节点， 表示某个事件 A 发生的概率?(A|?)，?为网络输入。如果我们利用网络的输出标量?表示正 面事件出现的概率，那么反面事件出现的概率即为1 − ?，网络结构如图 6.12 所示。 ?(正面|?) = ? ?(反面|?) = 1 − ? 事件A发生的概率：?( |?) 图 6.12 单输出节点的二分类网络 此时只需要在输出层的净活性值 对于二分类问题，除了可以使用单个输出节点表示事件 A 发生的概率?(A|?)外，还可 以分别预测?(A|?)和?(A̅|?)，并满足约束 ?(A|?) + ?(A̅|?) = 1 其中，A̅表示事件 A 的对立事件。如图 6.13 所示，二分类网络的输出层设置为 2 个节点， 第一个节点的输出值表示为事件 A 发生的概率?(A|?)，第二个节点的输出值表示对立事件 预览版202112 6.5 输出层设计

= ?[?] + ?[?][?] ∗ ?[?] 。现在就有了 ? 和 ? 的两层循环，这就是非向量化。 向量化方式就可以用? = ??. ???(?, ?)， 25 4.向量化-Python广播 26 参考文献 1. IAN GOODFELLOW等，《深度学习》，人民邮电出版社，2017 2. Andrew Ng，http://www.deeplearning.ai 27 谢

other, out=None)乘法首先是进行后两位矩阵乘法得 到(99×11)×(11×99)⇒(99×99)，然后分析两个参数的batch size分别是 (1000×500) 和 500, 可以广播成为 (1000×500)， 因此最终输出的维度是 (1000×500×99×99)。 14 1.Tensors张量乘法 4. 矩阵逐元素(Element-wise)乘法 torch.mul()

目录 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 3 1.随机事件和概率 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 4 1.事件的关系与运算 (1) (1) 子事件：? ⊂ ?，若?发生，则?发生。 (2) 相等事件：? = ?，即? ⊂ ?，且? ⊂ ? 。 (3) 和事件：?⋃?（或? + ?），?与?中至少有一个发生。 (4) 差事件：? − ?，?发生但?不发生。 (5) 积事件：?⋂?（或??），?与?同时发生。 (6) 互斥事件（互不相容）：?⋂?=⌀。 (7) 互逆事件（对立事件）： ?⋂? = ⌀, ?⋃? = ?, ? 。 1.随机事件和概率 5 2.运算律 (1) 交换律：?⋃? = ?⋃?, ?⋂? = ?⋂? (2) 结合律：(?⋃?)⋃? = ?⋃(?⋃?)； (?⋂?)⋂? = ?⋂(?⋂?) (3) 分配律：(?⋃?)⋂? = (?⋂?)⋃(?⋂?) 3.德.摩根律 ?⋃? = ?⋂? ?⋂? = ?⋃? 4.完全事件组 ?1?2 ⋯ ??两两互斥，且和事件为必然事件，即??⋂??

概率论和数理统计 随机事件和概率 1.事件的关系与运算 (1) 子事件：? ⊂ ?，若?发生，则?发生。 (2) 相等事件：? = ?，即? ⊂ ?，且? ⊂ ? 。 (3) 和事件：?⋃?（或? + ?），?与?中至少有一个发生。 (4) 差事件：? − ?，?发生但?不发生。 (5) 积事件：?⋂?（或??），?与?同时发生。 (6) 互斥事件（互不相容）：?⋂?=⌀。 =⌀。 (7) 互逆事件（对立事件）： ?⋂? = ⌀, ?⋃? = ?, ? = ?, ? = ? 。 2.运算律 (1) 交换律：?⋃? = ?⋃?, ?⋂? = ?⋂? (2) 结合律：(?⋃?)⋃? = ?⋃(?⋃?)； (?⋂?)⋂? = ?⋂(?⋂?) (3) 分配律：(?⋃?)⋂? = (?⋂?)⋃(?⋂?) 3.德.摩根律 ?⋃? = ?⋂? 4.完全事件组 ?1?2 ⋯ ??两两互斥，且和事件为必然事件，即??⋂?? = ⌀, ? ≠ ?, ⋃ ? ?=1 = ? 5.概率的基本概念 (1) 概率：事件发生的可能性大小的度量，其严格定义如下： 机器学习的数学基础 20 概率?(?)为定义在事件集合上的满足下面 3 个条件的函数： 1)对任何事件?，?(?) ≥ 0 2)对必然事件?，?(