只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。 1.1 基本符号 我们使用以下符号： ，表示 为由实数组成具有 行和 列的矩阵。 ，表示具有 个元素的向量。 通常，向量 将表示列向量: 即，具有 行和 列的矩阵。 如果 我们想要明确地表示行向量: 具有 行和 列的矩阵 - 我们通常写 （这里 的转置）。 请注意，为了使矩阵乘积存在， 中的列数必须等于 中的行数。有很多方法可以查看矩阵乘法，我们 将从检查一些特殊情况开始。 2.1 向量-向量乘法 给定两个向量 , 通常称为向量内积或者点积，结果是个实数。 注意： 始终成立。 给定向量 , (他们的维度是否相同都没关系)， 叫做向量外积 , 当 的时候，它是一个矩阵。 举一个外积如何使用的一个例子：让 表示一个 维向量，其元素都等于1，此外，考虑矩阵 3. 对于所有 , ，则 (正齐次性). 4. 对于所有 , (三角不等式) 其他范数的例子是 范数: 和 范数： 事实上，到目前为止所提出的所有三个范数都是 范数族的例子，它们由实数 参数化，并定义 为： 也可以为矩阵定义范数，例如Frobenius范数: 许多其他更多的范数，但它们超出了这个复习材料的范围。 3.6 线性相关性和秩 一组向量 ， 如果没有向量可以

它设定参与游戏双方分别为一个生成器 (Generator) 和一个判别器(Discriminator)，生成器的目的是尽 量去学习真实的数据分布，而判别器的目的是尽量 正确判别输入数据是来自真实数据还是来自生成器； 为了取得游戏胜利，这两个游戏参与者需要不断优 化， 各自提高自己的生成能力和判别能力，这个学 习优化过程就是寻找二者之间的一个纳什均衡。 GAN的理论与实现模型 2. GAN的理论与实现模型 在给定生成器 G 的情况下, 我们考虑最优化判别器 D. 2. GAN的理论与实现模型 16 GAN的学习方法 总之, 对于 GAN 的学习过程, 我们需要训练模型 D 来最大化判别数据 来源于真实数据或者伪数据分布 G(z) 的准确率, 同时, 我们需要训练 模型 G来最小化 log(1 − D(G(z))). 这里可以采用交替优化的方法: 先固定生成器 G, 优化判别器 D, 使得 D 语音和语言领域 ⚫ 其他领域 作为一个具有 “无限” 生成能力的模型, GAN的直接应用就是建 模, 生成与真实数据分布一致的数据样本，GAN 可以用于解决标注数据 不足时的学习问题。 其可以应用于： 3. GAN的应用 26 GAN的应用 图像和视觉领域 GAN 能够生成与真实数据分布一致的图像。一个典型应用是利用 GAN 来将一个低清模糊图像变换为具有丰富细节的高清图像。 用 VGG

Solution)。为什么叫作优化？这 是因为计算机的计算速度非常快，可以借助强大的计算能力去多次“搜索”和“试错”，从 而一步步降低误差ℒ。最简单的优化方法就是暴力搜索或随机试验，比如要找出最合适的 ?∗和?∗，就可以从(部分)实数空间中随机采样?和?，并计算出?和?对应模型的误差值ℒ， 然后从测试过的{ℒ}集合中挑出最好的ℒ∗，它所对应的?和?就可以近似作为最优?∗和?∗。 这种算法固然简单直接，但是面对大规模、高维度数据的优化问题时计算效率极低， 看，它是一个连续值的预测问题。 在现实生活中，连续值预测问题是非常常见的，比如股价的走势预测、天气预报中温 度和湿度等的预测、年龄的预测、交通流量的预测等。对于预测值是连续的实数范围，或 者属于某一段连续的实数区间，通常把这类问题称为回归(Regression)问题。特别地，如果 使用线性模型去逼近真实模型，那么就把这一类方法叫做线性回归(Linear Regression，简 称 LR) 的主要数据载体，根据维度数来区分，可分为： ❑ 标量(Scalar)。单个的实数，如 1.2, 3.4 等，维度(Dimension)数为 0，shape 为[]。 ❑ 向量(Vector)。?个实数的有序集合，通过单个中括号表示，如[1.2]，[1.2,3.4]等，维 度数为 1，长度不定，shape 为[?]。 ❑ 矩阵(Matrix)。?行?列实数的有序集合，如[[1,2],[3,4]]，也可以写成 [1

?( ? ?) = ???−??? ?2 6.基本导数与微分表 (1) ? = ?（常数） 则： ?′ = 0 ?? = 0 (2) ? = ??(?为实数) 则： ?′ = ???−1 ?? = ???−1?? (3) ? = ?? 则： ?′ = ??ln? ?? = ??ln??? 特例: (e?)′ = e? (⬝)分别表示对相应事件做任意事件运算后所得的事件，另外，概率为 1 （或 0）的事件与任何事件相互独立. 随机变量及其概率分布 1.随机变量及概率分布 取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变 量，概率分布通常指分布函数或分布律 2.分布函数的概念与性质 定义： ?(?) = ?(? ≤ ?), −∞ < ? < +∞ 性质：(1)0 ≤ ?(?) ≤ 1

I：单位矩阵 • xi, [x]i：向量x第i个元素 • xij, [X]ij：矩阵X第i行第j列的元素 集合论 • X: 集合 • Z: 整数集合 • R: 实数集合 • Rn: n维实数向量集合 • Ra×b: 包含a行和b列的实数矩阵集合 • A ∪ B: 集合A和B的并集 13 • A ∩ B：集合A和B的交集 • A \ B：集合A与集合B相减，B关于A的相对补集 函数和运算符 些算法在很大程度上 受到统计模型固有灵活性的限制。生成式对抗性网络的关键创新是用具有可微参数的任意算法代替采 样器。然后对这些数据进行调整，使得鉴别器（实际上是一个双样本测试）不能区分假数据和真实数 据。通过使用任意算法生成数据的能力，它为各种技术打开了密度估计的大门。驰骋的斑马 (Zhu et al., 2017) 和假名人脸 (Karras et al., 2017) 的例子都证明了这 对应的元素。我们可以基于任何从标量到标 量的函数来创建按元素函数。 在数学表示法中，我们将通过符号f : R → R 来表示一元标量运算符（只接收一个输入）。这意味着该函数 从任何实数（R）映射到另一个实数。同样，我们通过符号f : R, R → R 表示二元标量运算符，这意味着该 函数接收两个输入，并产生一个输出。给定同一形状的任意两个向量u和v和二元运算符f，我们可以得到向 量c =

(? ≠ 0) ?( ? ?) = ???−??? ?2 7 高等数学 6.基本导数与微分表 (1) ? = ?（常数） 则： ?′ = 0 ?? = 0 (2) ? = ??(?为实数) 则： ?′ = ???−1 ?? = ???−1?? (3) ? = ?? 则： ?′ = ??ln? ?? = ??ln??? 特例: (e?)′ = e? ?(e?) = e??? (4)

卷积（Convolution） 卷积是分析数学中的一种基础运算，其中对输入数据做运算时所用到的函数称为卷积核。 设:f(x), g(x)是R上的两个可积函数，作积分： 可以证明，关于几乎所有的实数x，上述积分是存在的。这样，随着x的不同取值，这个积分就 定义了一个如下的新函数，称为函数f与g的卷积 卷积层（Convolutional Layer, conv） 卷积层是使用一系列卷积核与

随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 15 1.随机变量及概率分布 取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机 变量，概率分布通常指分布函数或分布律 2.分布函数的概念与性质 定义： ?(?) = ?(? ≤ ?), −∞ < ? < +∞ 性质：(1)0 ≤ ?(?) ≤ 1 (2)

描述的是预测值的变化范围，离散程度， 也就是离其期望值的距离。方差越大，数 据的分布越分散，如右图右列所示。 偏差Bias： 描述的是预测值（估计值）的期望与真实 值之间的差距。偏差越大，越偏离真实数 据，如右图第二行所示。 低方差 高方差 高 偏 差 低 偏 差 29 偏差和方差 总体误差 方差 偏差 2 最 优 模 型 复 杂 度 模型复杂度 误 差 方差、偏差和模型复杂度

(PMF) 均 值 方差 (伯努利分布) (二项式分 布) 其中： (几何分布) 其中： 连续随机变量 均匀分布：在 和 之间每个点概率密度相等的分布（其中： ）。 指数分布：在非负实数上有衰减的概率密度（其中： ）。 正态分布：又被称为高斯分布。 一些随机变量的概率密度函数和累积分布函数的形状如图2所示。 下表总结了这些分布的一些特性： 分布 概率密度函数(PDF)或者概率质量函数