haiguang2000@qq.com 数学基础笔记（V1.01） 最后修改：2018-04-19 你不是一个人在战斗！ I 目录 机器学习的数学基础 .............................................................................................. ................. 1 高等数学 ........................................................................................................................... 1 线性代数 ......................................... ..................................................................... 19 机器学习的数学基础 1 机器学习的数学基础 高等数学 1.导数定义： 导数和微分的概念 ?′(?0) = lim ??→0 ?(?0+??)−?(?0) ?? （1） 或者：

1 2021年07月 机器学习-高等数学回顾 黄海广 副教授 2 高等数学 1.导数定义： 导数和微分的概念 ?′(?0) = lim ??→0 ?(?0+??)−?(?0) ?? （1） 或者：?′(?0) = lim ?→?0 ?(?)−?(?0) ?−?0 （2） 3 高等数学 2.左右导数导数的几何意义和物理意义 函数?(?)在?0处的左、右导数分别定义为： + ?(?)−?(?0) ?−?0 4 高等数学 3.函数的可导性与连续性之间的关系 Th1: 函数?(?)在?0处可微⇔ ?(?)在?0处可导。 Th2:若函数在点?0处可导，则? = ?(?)在点?0处连续，反之则不成立。即函数连续不一定可 导。 Th3:?′(?0)存在⇔ ?′−(?0) = ?′+(?0) 5 高等数学 4.平面曲线的切线和法线 切线方程 : ? − 0) ≠ 0 6 高等数学 5.四则运算法则 设函数? = ?(?)，? = ?(?)在点?可导，则： (1) ? ± ? ′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′ ?(??) = ??? + ??? (3) ( ? ?)′ = ??′−??′ ?2 (? ≠ 0) ?( ? ?) = ???−??? ?2 7 高等数学 6.基本导数与微分表

多元高斯分布 5. 其他资源 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记 试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测 度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素，

行和第 列中的 的元素： 我们用 或者 表示矩阵 的第 列： 我们用 或者 表示矩阵 的第 行： 在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上 操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通 用约定。 2.矩阵乘法 两个矩阵相乘，其中 and ，则： 其中： 请注意，为了使矩阵乘积存在， 中的列数必须等于 行之间的矩阵 向量积。公式如下： 这里第 行的 由左边的向量的矩阵向量乘积给出： 将矩阵乘法剖析到如此大的程度似乎有点过分，特别是当所有这些观点都紧跟在我们在本节开头给出的 初始定义（在一行数学中）之后。 这些不同方法的直接优势在于它们允许您在向量的级别/单位而不是标量上进行操作。 为了完全理解线 性代数而不会迷失在复杂的索引操作中，关键是要用尽可能多的概念进行操作。 实际上所有的线 对应的特征向量，我们只需解线性方程 ，因为 是奇异的，所以保证有一个非零解（但也可能有多个或无穷多个解）。 应该注意的是，这不是实际用于数值计算特征值和特征向量的方法（记住行列式的完全展开式有 项），这是一个数学上的争议。 以下是特征值和特征向量的属性（所有假设在 具有特征值 的前提下）： 的迹等于其特征值之和 的行列式等于其特征值的乘积 的秩等于 的非零特征值的个数 假设 非奇异，其特征值为 和特征向量为

深度学习入门-图像分割 18 自然语言处理（Natural Language Processing）是一门通过建 立形式化的 计算模型来分析、理解和处理自然语言的学科，也是 一门横跨语言学、计算 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器 psai 普西 Ω ω omega omiga 欧米 30 3. 深度学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 31 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数 = ?(?) 的自变量?在一点?0上产生一个增量??时，函 数输出值的增量??与自变量增量??的比值在 ??趋于0时的极限?如果存在，?即为在?0处的 导数，记作?′(?0)。 32 高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ?也趋近于零，则称? = ?(?)在点 ?0处连续。 lim Δ?→0Δ

psai 普西 Ω ω omega omiga 欧米 29 3. 机器学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 30 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数 = ?(?) 的自变量?在一点?0上产生一个增量??时，函 数输出值的增量??与自变量增量??的比值在 ??趋于0时的极限?如果存在，?即为在?0处的 导数，记作?′(?0)。 31 高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ?也趋近于零，则称? = ?(?)在点 ?0处连续。 lim Δ?→0Δ 处连续，需要满足的条件： 存在 1. 函数在该点处有定义 2. 函数在该点处极限 3. 极限值等于函数值 高等数学-函数的连续性 ?0 ?(?0) lim ?→?0? ? 33 ， 如果平均变化率的极限存在 则称此极限为函数 ? = ?(?) 在点 处的导数， 高等数学-导数 limΔ?→0 Δ? Δ? = limΔ?→0 ? ?0 + Δ? − ? ?0 Δ? ቚ ?′

定义实体的内置对象(built-in object)，它们包 括 Global（全局）对象、Object 对象、Function （函数）对象、Array（数组）对象、String 对象、Number 对 象、Math（数学库）对象、Date（日期）对象、RegExp（正 则表达式）对 象以及其它 Error 类对象：Error，EvalError（求 值错误），RangeError（越界错误）， ReferenceError（引 加法、减法、取负、乘法、除法这些数学运算，以及这一节稍后定义的数学函数应被理解 为总是使用实数做精确的数学计算，这不包括无穷大或 负零。本标准中的算法在适当的地方会 建模浮点数运算，描述其步骤，处理无穷大和有符号零并进行舍入。如果数学运算或函数应用 于一个浮点数，应被理解为应用 于此浮点数所代表的精确的数学值；比如，浮点数必须是有限 的，若为+0 或-0 则简单地取与之相符的数学值 0。 数学函数 abs(x) -x， 否则是 x 本身。 若为 x 正，数学函数 sign(x) 返回 1；为负则返回-1。在本标准中，对于 x 为零的情况，不使 用函数 sign。 记法"x modulo y"（y 必须为有限的非零值）计算 k 值，它与 y 同号（或同为零），使得 abs(k) < abs(y) 且对于同样的整数 q 有 x-k = q × y。 数学函数 floor(x) 返回不大于 x 的最

，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低，但是人工智能不可避免地需要使用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5 启了深度学习的第三次复兴之路。 1.2.1 浅层神经网络 1943 年，心理学家 Warren McCulloch 和逻辑学家 Walter Pitts 根据生物神经元(Neuron) 结构，提出了最早的神经元数学模型，称为 MP 神经元模型。该模型的输出?(?) = ℎ(?(?))，其中?(?) = ∑ ?? ? , ?? ∈ {0,1}，模型通过?(?)的值来完成输出值的预测，如图 1.4 所示。如果?(

疾病的诊断方式，并 在基础科学中扮演着越来越重要的角色——从天体物理学到生物学。 关于本书 这本书代表了我们的尝试——让深度学习可平易近人，教会人们概念、背景和代码。 1 一种结合了代码、数学和HTML的媒介 任何一种计算技术要想发挥其全部影响力，都必须得到充分的理解、充分的文档记录，并得到成熟的、维护 良好的工具的支持。关键思想应该被清楚地提炼出来，尽可能减少需要让新的从业者跟上时代的入门时间。 都会将不同的学科结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满 现某些实际目的所需的非常时刻学习概念。 虽然我们在开始时花了一些时间来教授基础的背景知识，如线性代数和概率，但我们希望你在思考更深奥的 概率分布之前，先体会一下训练模型的满足感。 除了提供基本数学背景速成课程的几节初步课程外，后续的每一章都介绍了适量的新概念，并提供可独立工 作的例子——使用真实的数据集。这带来了组织上的挑战。某些模型可能在逻辑上组合在单节中。而一些想 法可能最好是通过连