基本数据类型 主讲人：龙良曲 All is about Tensor python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1, d2 ,…] Float array FloatTensor of size [d1, d2, …] string

(branches) (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。 ⚫ 决策树归纳的基本算法是贪心算法 ，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 ⚫ 在决策树的生成过程中，分割方法 不支持 不支持 不支持 C4.5 分类 多叉树 信息增益率 支持 支持 支持 不支持 CART 分类 回归 二叉树 基尼指数 均方差 支持 支持 支持 支持 1.决策树原理 决策树的三种基本类型 建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同 的 目 标 函 数 ， 建 立 决 策 树 主 要 有 一 下 三 种 算 法 ： ID3(Iterative Dichotomiser)、C4 Quinlan）于1975年提出的一种决策树 构建算法，算法的核心是“信息熵”，期望信息越小，信息熵越大，样 本纯度越低。。 ⚫ ID3 算法是以信息论为基础，以信息增益为衡量标准，从而实现对数据 的归纳分类。 ⚫ ID3 算法计算每个属性的信息增益，并选取具有最高增益的属性作为给 定的测试属性。 ID3 算法 10 2.ID3算法 ID3 算法 其大致步骤为： 1. 初始化特征集合和数据集合；

01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 28 ViT缺点 Vision Transformer比CNN具有更少的图像特异性归纳偏差。 在CNN中，局部性、二维邻域结构和平移等方差被融入到整个模型的每一层中。 在ViT中，只有MLP层是局部的、平移等变的，而自注意层是全局的。 二维邻域结构的使用非常少：在模型的开始通过 image_size：int 类型参数，图片大小。 如果您有矩 形图像，请确保图像尺寸为宽度和高度的最大值 patch_size：int 类型参数，patches数目。 image_size 必须能够被 patch_size整除。 num_classes：int 类型参数，分类数目。 dim：int 类型参数，线性变换nn.Linear(..., dim)后输 出张量的尺寸 。 depth：int 类型参数，Transformer模块的个数。 类型参数，Transformer模块的个数。 heads：int 类型参数，多头注意力中“头”的个数。 mlp_dim：int 类型参数，多层感知机中隐藏层的神经 元个数。 channels：int 类型参数，输入图像的通道数，默认为 3。 dropout：float类型参数，Dropout几率，取值范围为 [0, 1]，默认为 0.。 emb_dropout：float类型参数，进行Embedding操作 时Dropout几率，取值范围为[0

3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 能水平的机器被证明是可行 的。 怎么实现人工智能是一个非常广袤的问题。人工智能的发展主要经历了三个阶段，每 个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 4.9.1 分布偏移的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 4.9.2 分布偏移示例 . . . 的数⋯⋯这个 例子仅仅是机器学习常见应用的冰山一角，而深度学习是机器学习的一个主要分支，本节稍后的内容将对其 进行更详细的解析。 1.2 机器学习中的关键组件 首先介绍一些核心组件。无论什么类型的机器学习问题，都会遇到这些组件： 1. 可以用来学习的数据（data）； 2. 如何转换数据的模型（model）； 3. 一个目标函数（objective function），用来量化模型的有效性； 整个监督学习过程如 图1.3.1 所示。 图1.3.1: 监督学习 综上所述，即使使用简单的描述给定输入特征的预测标签，监督学习也可以采取多种形式的模型，并且需要 大量不同的建模决策，这取决于输入和输出的类型、大小和数量。例如，我们使用不同的模型来处理“任意 22 1. 引言 长度的序列”或“固定长度的序列”。 回归 回归（regression）是最简单的监督学习任务之一。假设有一组房屋销售数据表格，其中每行对应一个房子，

ሾ2] = ?ሾ2]?ሾ1] + ?ሾ2]，?ሾ2] = ?ሾ2](?ሾ2]) 以此类推， 第四层为 ?ሾ4] = ?ሾ4]?ሾ3] + ?ሾ4]，?ሾ4] = ?ሾ4](?ሾ4]) 前向传播可以归纳为多次迭代 ?ሾ?] = ?ሾ?]?ሾ?−1] + ?ሾ?]，?ሾ?] = ?ሾ?](?ሾ?])。 x[2] x[3] x[1] 23 反向传播 反向传播 重复L-1次 前向传播和反向传播：

第一步，对样本明确预测输出值与损失函数 第二步，明确参数调整策略 第三步，计算输出层阈值的梯度 第四步，计算隐层到输出层连接权值的梯度 第五步，计算隐层阈值的梯度 第六步，计算输入层到隐层连接权值的梯度 第七步，引出归纳结论 18 3.BP算法 第一步，明确损失函数 对样本 ??, ?? ，神经网络的预 测输出值为ො??。 全网络在样本 ??, ?? 上的均方 误差 1h v 输入层 输出层 隐层

2022年02月 机器学习-引言 黄海广 副教授 2 目录 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 3 1. 机器学习概述 01 认识Python 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 4 机器学习与人工智能、深度学习的关系 机器学习伴随着人工智能的发展而诞生，它是人工智能 发展到一定阶段的必然产物。 12 机器学习发展史 13 机器学习发展史 14 2. 机器学习的类型 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 15 2. 机器学习的类型 16 ✓ 分类（Classification） ✓ 身高1.65m，体重100kg的男人肥胖吗？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ 如何预测上海浦东的房价？ ✓ 未来的股票市场走向？ 2. 机器学习的类型-监督学习 17 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的 空间中？ 2. 机器学习的类型-无监督学习 18 ✓ 强化学习（Reinforcement Learning）

使 用 的 默 认 值 图 像 数 据 格 式 （channel_last 或 channels_first）。 • 用于防止在某些操作中被零除的 epsilon 模糊因子。 • 默认浮点数据类型。 • 默认后端。详见 backend 文档。 同 样， 缓 存 的 数 据 集 文 件 （如 使 用 get_file() 下 载 的 文 件） 默 认 存 储 在 $HOME/.keras/datasets/ # or, for Sequential: model = Sequential.from_config(config) • model.get_weights(): 返回模型权重的张量列表，类型为 Numpy array。 • model.set_weights(weights): 从 Nympy array 中为模型设置权重。列表中的数组必须与 get_weights() 返回的权重具有相同的尺寸。 表明任意批次大小的 32 维向量。 • name: 一个可选的层的名称的字符串。在一个模型中应该是唯一的（不可以重用一个名字 两次）。如未提供，将自动生成。 • dtype: 输入所期望的数据类型，字符串表示 (float32, float64, int32…) • sparse: 一个布尔值，指明需要创建的占位符是否是稀疏的。 • tensor: 可选的可封装到 Input 层的现有张

第一篇 5 上图 1-3 中标量、向量、数组、3D、4D、5D 数据矩阵在深 度学习框架中都被称为张量。可见在深度学习框架中所有的数 据都是张量形式存在，张量是深度学习数据组织与存在一种数 据类型。 ● 算子 / 操作数 深度学习主要是针对张量的数据操作、这些数据操作从简单到 复杂、多数都是以矩阵计算的形式存在，最常见的矩阵操作就 是加减乘除、此外卷积、池化、激活、也是模型构建中非常有 自动微分。 1.4 Pytorch 基础操作 前面我们已经安装并验证好了 Pytorch 框架，解释了深度学习 框架中一些常见术语与基本概念。本节重点介绍 Pytorch 中一 些基本的数据定义与类型转换、算子操作、通过它们帮助读者 进一步了解 Pytorch 开发基础知识，为后续章节学习打下良好 基础。在正式开始这些基础操作之前，我们首先需要有一个合 适的集成开发环境 (IDE)，本书的源代码是基于 tensor([[2., 3.], [4., 5.]]) torch.float32 其中 torch.Tensor 是 torch.FloatTensor 的别名，所以默认的 数据类型是 flaot32，这点从 a.dtype 的打印结果上也得了印 证。此外 torch.Tensor 函数还支持从 Numpy 数组直接转换 为张量数据，这种定义声明张量数据的代码如下： b =