2021年07月 机器学习-线性代数回顾 黄海广 副教授 2 目录 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 3 1.行列式 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 4 (1) 设? = 05 矩阵的特征值和特征向量 04 线性方程组 7 ? × ?个数???排成?行?列的表格 ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ??? 称为矩阵， 简记为?，或者 ??? ?×? 。若? = ?，则称?是?阶矩阵或?阶方阵。 2.矩阵 矩阵 8 矩阵的线性运算 2.矩阵 1.矩阵的加法 设? = ( 矩阵的特征值和特征向量 04 线性方程组 15 3.向量 1.有关向量组的线性表示 (1) ?1, ?2, ⋯ , ??线性相关 ⇔至少有一个向量可以用其余向量线性表示。 (2) ?1, ?2, ⋯ , ??线性无关，?1, ?2, ⋯ , ??，?线性相关 ⇔ ?可以由?1, ?2, ⋯ , ??唯一线性表示。 (3) ?可以由?1, ?2, ⋯ , ??线性表示 ⇔ ?(?1, ?2

些代码紧凑，易于调试，并且易于扩展。 1.3 快速开始：30 秒上手 Keras Keras 的核心数据结构是 model，一种组织网络层的方式。最简单的模型是 Sequential 顺 序模型，它是由多个网络层线性堆叠的栈。对于更复杂的结构，你应该使用 Keras 函数式 API， 它允许构建任意的神经网络图。 Sequential 顺序模型如下所示： from keras.models import Sequential NVIDIA、优步、苹果（通过 CoreML）等。 快速开始 8 3 快速开始 3.1 Sequential 顺序模型指引 3.1.1 开始使用 Keras 顺序 (Sequential) 模型 顺序模型是多个网络层的线性堆叠。 你可以通过将层的列表传递给 Sequential 的构造函数，来创建一个 Sequential 模型： from keras.models import Sequential from 个模型副本处理不同部分的输入数据。 Keras 有一个内置的实用函数 keras.utils.multi_gpu_model，它可以生成任何模型的数据并 行版本，在多达 8 个 GPU 上实现准线性加速。 有关更多信息，请参阅 multi_gpu_model 的文档。这里是一个简单的例子： from keras.utils import multi_gpu_model # 将 `model`

1 2022年09月 机器学习-第二章 回归 黄海广 副教授 2 本章目录 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 3 1. 线性回归 01 认识Python 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 4 监督学习分为回归和分类 ✓ 回归（Regression、Prediction） 根据肿瘤的体积、患者的年龄来判断良性或恶性？ 回归的概念 标签连续 标签离散 5 线性回归-概念 线性回归（Linear Regression） 是一种通过属性的线性组合来进行预测 的线性模型，其目的是找到一条直线或 者一个平面或者更高维的超平面，使得 预测值与真实值之间的误差最小化。 6 线性回归-符号约定 建筑面积 总层数 楼层 实用面积 房价 143.7 31 10 105 上图的： ?? ? 代表特征矩阵中第 ? 行的第 ? 个特征 ?(2) = 162.2 31 8 118 ?(2) =37000 上图的?2 2 = 31, ?3 2 = 8 7 线性回归-算法流程 ℎ ? = ?0 + ?1?1 + ?2?2 + . . . +???? ? 和 ? 的关系 可以设?0 = 1 则：ℎ ? = ?0?0 + ?1?1 + ?2?2+. .

知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低，但是人工智能不可避免地需要使用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。 参考文献 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 映射关系??: ? → ?，其中??代表模型函数，?为模型的参数。在训练时，通过计算模型的预 测值??(?)与真实标签?之间的误差来优化网络参数?，使得网络下一次能够预测更精准。常 见的有监督学习有线性回归、逻辑回归、支持向量机、随机森林等。 无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本?的数据集，算法需 要自行发现数据的模态，这种方式叫作无监督学习。无监督学习中有一类算法将自身作为

析、球员表现和评级，以及跟踪体育 节目中品牌赞助的可见性。 农业 半自动联合收割机可以利用人工智能 和计算机视觉来分析粮食品质，并找 出农业机械穿过作物的最佳路径。另 外也可用来识别杂草和作物，有效减 少除草剂的使用量。 制造业 计算机视觉也可以帮助制造商更安 全、更智能、更有效地运行，比如预 测性维护设备故障，对包装和产品质 量进行监控，并通过计算机视觉减少 不合格产品。 chi khai 喜 Ψ ψ psi psai 普西 Ω ω omega omiga 欧米 30 3. 深度学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 31 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， + 1 ?! ?? + ?(??) 2) ln(1 + ?) = ? − 1 2 ?2 + 1 3 ?3 − ⋯ + (−1)?−1?? ? + ?(??) 高等数学-泰勒公式 39 线性代数-行列式 设? = ??? ?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = ቊ ? , ? = ? 0, ? ≠ ? 或?1??1? + ?2??2? + ⋯ +

测试 数据 5 Boosting 训练过程为阶梯状，基模型 按次序一一进行训练（实现 上可以做到并行），基模型 的训练集按照某种策略每次 都进行一定的转化。对所有 基模型预测的结果进行线性 综合产生最终的预测结果。 集成学习 模型n 最终 预测 结果 模型2 预测n …… 预测1 预测2 转化 模型1 模型3 转化 转化 训练 数据 测试 数据 6 集成学习 指在每个节点在分裂过程中都是随机选择特 征的（区别与每棵树随机选择一批特征）。 这种随机性导致随机森林的偏差会有稍微的 增加（相比于单棵不随机树），但是由于随 机森林的“平均”特性，会使得它的方差减 小，而且方差的减小补偿了偏差的增大，因 此总体而言是更好的模型。 随机森林 数据集 自助采样 自助采样 自助采样 Bootstraping 10 2.AdaBoost和GBDT算法 02*3+0.02 0.03 bin1 bin2 bin3 bin序号 bin样本的之和 bin内所有样本的一阶导之和 bin内所有样本的二阶导之和 可能的候选点分裂点个数 等于样本取值个数减一 排序完了之后，我们就选出a * data_num个梯度大的，然后从剩下的那些样本里面选出b*data_num个梯度小的： 这里是8个样本，所以a*8=2，b*8=2，1−? ? = 3。 即

征数据分布没有发生改变。 就是当数据特征取值范围或单位差异 较大时，最好是做一下标准化处理。 3.正则化、偏差和方差 18 需要做数据归一化/标准化 线性模型，如基于距离度量的模型包括KNN(K近邻)、K-means聚类、 感知机和SVM、神经网络。另外，线性回归类的几个模型一般情况下也 是需要做数据归一化/标准化处理的。 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取 果。 2.增加模型复杂度 简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能 力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元 个数等。 3.减小正则化系数 正则化是用来防止过拟合的，但当模型出现欠拟合现象时，则需要有针对性地减 小正则化系数。 23 ??正则化：?(?) = 1 ? σ?=1 ? ? ̰? (?) , ?(?) +

果。 2.增加模型复杂度 简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能 力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元 个数等。 3.减小正则化系数 正则化是用来防止过拟合的，但当模型出现欠拟合现象时，则需要有针对性地减 小正则化系数。 11 正则化 ??正则化可以产生稀疏模型 图上面中的蓝色轮廓线是没有正则化损失函数的等高线

(?|?)。具体来说，利用训练数 据学习?(?|?)和?(?)的估计，得到联合概率分布： ?(?, ?)＝?(?)?(?|?)，再利用它进行分类。 即：估计?(?|?) 然后推导?(?|?) 线性回归、逻辑回归、感知机、决策树、支持向 量机…… 朴素贝叶斯、HMM、深度信念网络(DBN)…… 监督学习方法又分 生成方法（Generative approach）和判别方法（Discriminative ck) = P x(1), ⋯ , x(n)|yk = ςj=1 n P x(j)|Y = ck ck代表类别，k代表类别个数。 这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减 少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效，且易 于实现。其缺点是分类的性能不一定很高。 11 2.朴素贝叶斯原理 3．朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测

48 2.2.3 转换为张量格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.3 线性代数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 2.3.11 关于线性代数的更多信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.4 微积分 . . . . . . . . . . . . . . . . . . . . . . . . 82 3 线性神经网络 85 3.1 线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 3.1.1 线性回归的基本元素 . . . . . . . . . . . . . . . .