聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签? ，我们的目标是找到能够 区分正样本和负样本的决策边界，需要据此拟合一个假设函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） 什么商品呢？ 主要的无监督学习方法 6 1.无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 以使用聚类算法来识别甲状腺疾病数据集。 8 1.无监督学习方法概述 聚类案例 2.市场细分 为了吸引更多的客户，每家公司都在开发易 于使用的功能和技术。为了了解客户，公司 可以使用聚类。聚类将帮助公司了解用户群 ，然后对每个客户进行归类。这样，公司就 可以了解客户，发现客户之间的相似之处， 并对他们进行分组。 9 1.无监督学习方法概述 聚类案例 3.金融业 银行可以观察到可能的金融欺诈行为，就此

nn 包来构建神经网络。 上一讲已经讲过了 autograd，nn 包依赖 autograd 包来定义模型并求导。 一个 nn.Module 包含各个层和一个 forward(input) 方法，该方法返回 output。 例如： 它是一个简单的前馈神经网络，它接受一个输入，然后一层接着一层地传递，最后输出计算的结果。 神经网络的典型训练过程如下： 1. 定义包含一些可学习的参数(或者叫权重)神经网络模型； target) # 计算损失 loss.backward() # 反向传播 optimizer.step() # 更新参数 注意 观察如何使用 optimizer.zero_grad() 手动将梯度缓冲区设置为零。 原文链接：pytorch 入门笔记 -03- 神经网络 这是因为梯度是按 Backprop 部分中的说明累积的。 原文链接：pytorch 入门笔记 -03- 神经网络

2 多元梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444 11.3.3 自适应方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446 11.4 随机梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549 13.1.1 常用的图像增广方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550 13.1.2 使用图像增广进行训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624 13.12.1 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625 13.12.2

第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 11 章 循环神经网络 11.1 序列表示方法 11.2 循环神经网络 11.3 梯度传播 11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11 LSTM/GRU 情感分类问题再战 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 强化学习 14.1 先睹为快 14.2 强化学习问题 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程 15.3

机器学习-第四章 朴素贝叶斯 黄海广 副教授 2 本章目录 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 3 1.贝叶斯方法 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 4 1.贝叶斯方法-背景知识 先验概率： 后验概率： 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为 5, ? < 0两个条件同时成立的概率。表示两个事件 共同发生的概率。 1.贝叶斯方法-背景知识 6 1. 贝叶斯方法 贝叶斯公式 后验概率 似然度 先验概率 边际似然度 ?(?|?) = ?(?, ?) ?(?) = ?(?|?)?(?) ?(?) 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率 分布 ?(?, ?)，然后求得后验概率分布?(?|?)。 具体来说，利用训练数据学习 具体来说，利用训练数据学习?(?|?)和?(?)的估计，得到联合概率分布： ?(?, ?)＝?(?|?) ?(?) 7 2.朴素贝叶斯原理 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 8 判别模型和生成模型 判别模型（Discriminative Model) 生成模型（Generative Model） 由数据直

Sequential 属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 目录 III 4.2.3 Sequential 模型方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.3.1 compile . . . . . . . . 3.2 Model 的实用属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.3 Model 类模型方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.3.1 compile . . . . . . . ImageDataGenerator 类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 6.3.2 ImageDataGenerator 类方法 . . . . . . . . . . . . . . . . . . . . . . . . . . 129 6.3.2.1 apply_transform . . . . . . . . .

如果希望获取某年或某个月的数据，则可以 直接用指定的年份或者月份操作索引。 date_se['2015'] 17 通过时间戳索引选取子集 除了使用索引的方式以外，还可以通过 truncate()方法截取 Series或DataFrame对象。 truncate(before = None,after = None, axis = None,copy = True) ➢ before -- 表示截断此索引值之前的所有行。 ，“小时”使用Hour类型表示，它们之间可以使 用加号连接。 30 时间序列的移动 移动是指沿着时间轴方向将数据进行前移或 后移。 31 时间序列的移动 Pandas对象中提供了一个shift()方法，用来 前移或后移数据，但数据索引保持不变。 shift(periods=1, freq=None, axis=0) ➢ periods -- 表示移动的幅度，可以为正数，也可 以为负数，默认值是1，代表移动一次。 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 33 创建时期对象 pd.Period(2018) 创建Period类对象的方式比较简单，只需要在构造 方法中以字符串或整数的形式传入一个日期即可。 Period类表示一个标准的时间段或时期，比 如某年、某月、某日、某小时等。 pd.Period('2017/6') 34 创建时期对象 Peri

决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。 ⚫ 决策树归纳的基本算法是贪心算法 ，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 ⚫ 在决策树的生成过程中，分割方法 即属性选择的度量是关键。 6 1.决策树原理 优点： ⚫ 推理过程容易理解，计算简单，可解释性强。 ⚫ 凹陷 硬挺 稍糊 清晰 蜷曲 稍蜷 模糊 青绿 稍凹 浅白 青绿 乌黑 浅白 ① ⑥ ⑤ ④ ③ ② 剪枝策略 在节点划分前来确定是否继续增长，及早 停止增长 主要方法有： • 节点内数据样本低于某一阈值； • 所有节点特征都已分裂； • 节点划分前准确率比划分后准确率高。 22 C4.5的剪枝 预剪枝 平坦 坏瓜 脐部 凹陷 稍凹 ① ④ 划分前:71.4% 划分后:57.1% 预剪枝决策:禁止划分 {1,2,3,14} {6,7,15,17} {10,16} 剪枝策略 在节点划分前来确定是否继续增长，及早 停止增长 主要方法有： • 节点内数据样本低于某一阈值； • 所有节点特征都已分裂； • 节点划分前准确率比划分后准确率高。 预剪枝的决策树 23 C4.5的剪枝 后剪枝 编号 色泽 根蒂 敲声 纹理 脐部

04 特征选择 8 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 特征构建：是指从原始数 据中人工的找出一些具有 物理意义的特征。 方法：经验、属性分割和 结合 操作：使用混合属性或者 组合属性来创建新的特征 ，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 聚合特征构造 14 2. 特征构建 相对于聚合特征构造依赖于多个特征的分组统计，通常依赖于对于特征本 身的变换。转换特征构造使用单一特征或多个特征进行变换后的结果作为 新的特征。 常见的转换方法有单调转换（幂变换、log变换、绝对值等）、线性组合、 多项式组合、比例、排名编码和异或值等。 转换特征构造 15 2. 特征构建 • 基于单价和销售量计算销售额. • 基于原价和售价计算利润 义的特征。 常用方法 降维方面的PCA、ICA、LDA等 图像方面的SIFT、Gabor、HOG等 文本方面的词袋模型、词嵌入模型等 3. 特征提取 18 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 1.PCA(Principal Component Analysis，主成分分析) PCA 是降维最经典的方法，它旨在是找到数据中的主成分，并利

modeling_qwen. py ）。现在，我们遵循 transformers 的实践，直接使用 model.generate() 配合 tokenizer 中的 apply_chat_template() 方法。 如果你想使用 Flash Attention 2，你可以用下面这种方式读取模型： 4 Chapter 1. 文档 Qwen model = AutoModelForCausalLM.from_pretrained( 1 基本用法 你只需借助 transformers 库编写几行代码，就能与 Qwen1.5-Chat 进行对话。实质上，我们通过 from_pretrained 方法构建 tokenizer 和模型，然后利用 generate 方法，在 tokenizer 提供的 chat template 的辅助下进行 chat。以下是一个如何与 Qwen1.5-7B-Chat 进行对话的示例： from transformers You can refer to that document for more information. 1.4.4 PPL 评测 llama.cpp 为我们提供了评估 GGUF 模型 PPL 性能的方法。为了实现这一点，你需要准备一个数据集，比如 “wiki 测试”。这里我们展示了一个运行测试的例子。 第一步，下载数据集： wget https://s3.amazonaws.com/research