1 2021年07月 机器学习-线性代数回顾 黄海广 副教授 2 目录 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 3 1.行列式 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 4 (1) −1, ?∗正定； |?| > 0, ?可逆；??? > 0，且|???| > 0 。 6.二次型 38 参考文献 1. https://github.com/fengdu78 2. 《线性代数》，同济大学 39 谢 谢！

基本数据类型 主讲人：龙良曲 All is about Tensor python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1, d2 ,…] Float array FloatTensor of size [d1, d2, …] string

斐 Χ χ chi khai 喜 Ψ ψ psi psai 普西 Ω ω omega omiga 欧米 29 3. 机器学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 30 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 1 ?! ?? + ?(??) 2) ln(1 + ?) = ? − 1 2 ?2 + 1 3 ?3 − ⋯ + (−1)?−1?? ? + ?(??) 高等数学-泰勒公式 38 线性代数-行列式 设? = ??? ?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = ቊ ? , ? = ? 0, ? ≠ ? 或?1??1? + ?2??2? + ⋯ + ? ? ∈ ℝ?×?, det(??) = det(?)det(?) ⚫ 当且仅当?为奇异方阵时，det(?) = 0 ⚫ 当?为非奇异方阵时，det(?−1) = 1/det(?) 39 线性代数-矩阵 矩阵：? × ?个数???排成?行?列的表格 ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ??? 称为矩阵，简记为?， 或者

斐 Χ χ chi khai 喜 Ψ ψ psi psai 普西 Ω ω omega omiga 欧米 30 3. 深度学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 31 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 1 ?! ?? + ?(??) 2) ln(1 + ?) = ? − 1 2 ?2 + 1 3 ?3 − ⋯ + (−1)?−1?? ? + ?(??) 高等数学-泰勒公式 39 线性代数-行列式 设? = ??? ?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = ቊ ? , ? = ? 0, ? ≠ ? 或?1??1? + ?2??2? + ⋯ + ? ? ∈ ℝ?×?, det(??) = det(?)det(?) ⚫ 当且仅当?为奇异方阵时，det(?) = 0 ⚫ 当?为非奇异方阵时，det(?−1) = 1/det(?) 40 线性代数-矩阵 矩阵：? × ?个数???排成?行?列的表格 ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ??? 称为矩阵，简记为?， 或者

2.2.3 转换为张量格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.3 线性代数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 2.3.11 关于线性代数的更多信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.4 微积分 . . . . . . . . . 透彻性，但对初学者来说，这一特性限制了它作为介绍性文本的实用性。 在这本书中，我们将适时教授大部分概念。换句话说，你将在实现某些实际目的所需的非常时刻学习概念。 虽然我们在开始时花了一些时间来教授基础的背景知识，如线性代数和概率，但我们希望你在思考更深奥的 概率分布之前，先体会一下训练模型的满足感。 除了提供基本数学背景速成课程的几节初步课程外，后续的每一章都介绍了适量的新概念，并提供可独立工 作的例子——使用

Python)是Python的一种开源的数值计算扩展库。 它包含很多功能： · 创建n维数组（矩阵） · 对数组进行函数运算 · 数值积分 · 线性代数运算 · 傅里叶变换 · 随机数产生 ······ NumPy是什么？ 5 NumPy提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处 理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大 型金融公司使用，以及核心的科学计算组织如：Lawrence 中的元素可以是任何对象，所以浪费了CPU运算时间和内存。 NumPy诞生为了弥补这些缺陷。它提供了两种基本的对象： ndarray：全称（n-dimensional array object）是储存单一数据类型的 多维数组。 ufunc：全称（universal function object）它是一种能够对数组进行处 理的函数。 NumPy的官方文档： https://docs.scipy.

Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数 据结构化和数据分析工具。 数据框（Data Frame）是一个二维带标记的数据结构，每列（column）数据类型 可以不同。我们可以将其当作电子表格或数据库表。 数据读入 pandas.read_csv 方法实现了快速读取 CSV（comma-separated) 文件到数据框的功能。 数据可视化库：matplotlib scatter3D 方法专门用于绘制3维的散点图。 数据归一化（3D） 数据处理：NumPy NumPy 是一个 BSD 开源协议许可的，面向 Python 用户的基础科学计算库，在多 维数组上实现了线性代数、傅立叶变换和其他丰富的函数运算。 X y 创建线性回归模型（数据流图） 创建会话（运行环境） 使用 TensorBoard 可视化模型数据流图 TensorBoard 可视化工具 在数

，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低，但是人工智能不可避免地需要使用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting for epoch in range(5): # 训练 5 个 epoch for batch_idx, (x, y) in enumerate(train_loader): # 按批迭代数据集 # x: [b, 1, 28, 28], y: [512] # 打平操作：[b, 1, 28, 28] => [b, 784]

GPU ） , requires_grad(是否需要求导)等设置参数。 1.Tensors张量的概念 9  Tensor与NumPy的函数对比 . 操作类别 Numpy PyTorch 数据类型 np.ndarray torch.Tensor np.float32 torch.float32; torch.float np.float64 torch.float64; torch.double float16) torch.tensor([3.2, 4.3],dtype=torch.float16) x.copy() x.clone() np.concatenate torch.cat 线性代数 np.dot torch.mm 属性 x.ndim x.dim() x.size x.nelement() 形状操作 x.reshape x.reshape(相当于 tensor.contiguous()

所 使 用 的 默 认 值 图 像 数 据 格 式 （channel_last 或 channels_first）。 • 用于防止在某些操作中被零除的 epsilon 模糊因子。 • 默认浮点数据类型。 • 默认后端。详见 backend 文档。 同 样， 缓 存 的 数 据 集 文 件 （如 使 用 get_file() 下 载 的 文 件） 默 认 存 储 在 $HOME/.keras/datasets/ 32) 表明任意批次大小的 32 维向量。 • name: 一个可选的层的名称的字符串。在一个模型中应该是唯一的（不可以重用一个名字 两次）。如未提供，将自动生成。 • dtype: 输入所期望的数据类型，字符串表示 (float32, float64, int32…) • sparse: 一个布尔值，指明需要创建的占位符是否是稀疏的。 • tensor: 可选的可封装到 Input 层的现有 CSVLogger(filename, separator=',', append=False) 把训练轮结果数据流到 csv 文件的回调函数。 支持所有可以被作为字符串表示的值，包括 1D 可迭代数据，例如，np.ndarray。 例 csv_logger = CSVLogger('training.log') model.fit(X_train, Y_train, callbacks=[csv_logger])