1 重新审视过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.6.2 扰动的稳健性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 4.6.3 实践中的暂退法 . . 掩蔽softmax操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 10.3.2 加性注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 10.3.3 缩放点积注意力 428 11.1.2 深度学习中的优化挑战 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429 11.2 凸性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4 并没有通 用约定。 2.矩阵乘法 两个矩阵相乘，其中 and ，则： 其中： 请注意，为了使矩阵乘积存在， 中的列数必须等于 中的行数。有很多方法可以查看矩阵乘法，我们 将从检查一些特殊情况开始。 2.1 向量-向量乘法 给定两个向量 , 通常称为向量内积或者点积，结果是个实数。 注意： 始终成立。 给定向量 , (他们的维度是否相同都没关系)， 叫做向量外积 将矩阵乘法剖析到如此大的程度似乎有点过分，特别是当所有这些观点都紧跟在我们在本节开头给出的 初始定义（在一行数学中）之后。 这些不同方法的直接优势在于它们允许您在向量的级别/单位而不是标量上进行操作。 为了完全理解线 性代数而不会迷失在复杂的索引操作中，关键是要用尽可能多的概念进行操作。 实际上所有的线性代数都处理某种矩阵乘法，花一些时间对这里提出的观点进行直观的理解是非常必要 的。 除此之外，了解一些更高级别的矩阵乘法的基本属性是很有必要的：

11.2.1 例: 记录损失历史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 11.2.2 例: 模型检查点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 12 常用数据集 Datasets 154 12 误时提供清晰和 可操作的反馈。 • 这使 Keras 易于学习和使用。作为 Keras 用户，你的工作效率更高，能够比竞争对手更快 地尝试更多创意，从而帮助你赢得机器学习竞赛。 • 这种易用性并不以降低灵活性为代价：因为 Keras 与底层深度学习语言（特别是 Ten- sorFlow）集成在一起，所以它可以让你实现任何你可以用基础语言编写的东西。特别是， tf.keras 作为 Keras 模型 有状态的循环神经网络模型中，在一个 batch 的样本处理完成后，其内部状态（记忆）会被记录 并作为下一个 batch 的样本的初始状态。这允许处理更长的序列，同时保持计算复杂度的可控 性。 你可以在 FAQ 中查找更多关于 stateful RNNs 的信息。 from keras.models import Sequential from keras.layers import

机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后 的数据清理一般是由计算机而不是人工完成。 9 2.数据清洗 不合法值 空 值 异常检测 重复处理 拼写错误 命名习惯 数理统计技术 探索性数据分析(EDA) 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 统计数据，以便探索我们的数据。 •目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如， 找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。 •简而言之，EDA的目标是确定我们的数据可以告诉我们什么！ 探索性数据分析(EDA) 11 探索性数据分析(EDA) 单变量图显示此变量的分布 现在我们有了正确的列数据类型，我们可以通过查看每列中缺失值的 百分比来开始分析。 当我们进行探索性数据分析时，缺失的值很好， 但是必须使用机器学习方法进行填写。 17 探索性数据分析(EDA) Pairs Plot是一次检查多个变 量的好方法，因为它显示了 对角线上的变量对和单个变 量直方图之间的散点图。 18 3.特征工程 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04

02 Apriori 算法 03 FP-Growth算法 4 1.关联规则概述 关联规则 关联规则（Association Rules）反映一个事物与其他事物之间的相互依存 性和关联性。如果两个或者多个事物之间存在一定的关联关系，那么，其中 一个事物就能够通过其他事物预测到。 关联规则可以看作是一种IF-THEN关系。假设 商品A被客户购买，那么在相同的交易ID下， 商品B也被客户挑选的机会就被发现了。 {I2:1}、{I3:1}，其中I2作为子级链接到根，I1链接到I2 ，I3链接到I1。 (这里根据项集的数量排序成I2、I1、I3) Null l2:1 l1:1 l3:1 ② 再次扫描数据库并检查事务。检查第一个事务并找出其中的项集。计数 最大的项集在顶部，计数较低的下一个项集，以此类推。这意味着树的 分支是由事务项集按计数降序构造的。 35 3.FP-Growth算法 构建FP树 1 FP-Growth算法的优点 1.与Apriori算法相比，该算法只需对数据库进行两次扫描 2.该算法不需要对项目进行配对，因此速度更快。 3.数据库存储在内存中的压缩版本中。 4.对长、短频繁模式的挖掘具有高效性和可扩展性。 FP-Growth算法的缺点 1.FP-Tree比Apriori更麻烦，更难构建。 2.可能很耗资源。 3.当数据库较大时，算法可能不适合共享内存 41 1 FP-Growth算法演示二-------构造FP树

失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 开头的一些包与功能，主要包括支持模型导出功能 模型库与功能函数，主要包括对象检测模块与模型库、图象数 据增强与预处理模块等。 以上并不是 pytorch 框架中全部模块与功能说明，作者这里只 列出了跟本书内容关联密切必须掌握的一些模块功能，希望读 者可以更好的针对性学习，掌握这些知识。 1.1.3 Pytorch 框架现状与趋势 Pytorch 是深度学习框架的后起之秀，它参考了市场上早期框 架包括 torch、caffe、tensorflow 的经验教训，从一开始设 rm python 4. 把安装好的 3.6 设置为默认版本 zhigang@ubuntu:/usr/bin$ sudo ln -s python3.6 /usr/bin/ python 5. 检查与验证 zhigang@ubuntu:~$ python -V Python 3�6�5 成功完成上述五个步骤的命令行执行就完成了 Python 语言包 依赖安装，然后安装 Pytorch 框架，CPU

DBSCAN密度聚类 与划分和层次聚类方法不同，DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。它将簇 定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并 可在噪声的空间数据库中发现任意形状的聚类。 密度：空间中任意一点的密度是以该点为圆心，以扫描半径构成的圆区域内包 30 密度聚类-DBSCAN DBSCAN使用两个超参数： 扫描半径 (eps)和最小包含点数(minPts)来获得簇的数量，而不是猜测簇的数目。 ➢ 扫描半径 (eps) : 用于定位点/检查任何点附近密度的距离度量，即扫描半径。 ➢ 最小包含点数(minPts) ： 聚集在一起的最小点数（阈值），该区域被认为是稠密的。 31 密度聚类-DBSCAN DBSCAN算法将数据点分为三类： minPts=10 eps=0.4 minPts=10 eps=0.3 minPts=6 估计的簇的数量 3 12 1 2 估计的噪声点 18 516 2 13 同一性 0.9530 0.3128 0.0010 0.5365 完整性 0.8832 0.2489 0.0586 0.8623 V-measure 0.9170 0.0237 0.0020 0.6510 ARI 0.9517 0.2673

和计算机视觉来分析粮食品质，并找 出农业机械穿过作物的最佳路径。另 外也可用来识别杂草和作物，有效减 少除草剂的使用量。 制造业 计算机视觉也可以帮助制造商更安 全、更智能、更有效地运行，比如预 测性维护设备故障，对包装和产品质 量进行监控，并通过计算机视觉减少 不合格产品。 交通 自动驾驶汽车需要计算机视觉。特斯拉 (Tesla)、宝马(BMW)、沃尔沃(Volvo)和奥迪 ( 别、机场安检，甚至在北京天坛公园分发厕 纸、防止厕纸被盗，以及其他许多应用。 医疗 由于90％的医疗数据都是基于图像的，因此医 学中的计算机视觉有很多用途。比如启用新的 医疗诊断方法，分析X射线，乳房X光检查，监 测患者等。 13 深度学习入门-目标检测 目标检测结合了目标分 类和定位两个任务。 目标检测器的框架分为 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4 的自变量?在一点?0上产生一个增量??时，函 数输出值的增量??与自变量增量??的比值在 ??趋于0时的极限?如果存在，?即为在?0处的 导数，记作?′(?0)。 32 高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ?也趋近于零，则称? = ?(?)在点 ?0处连续。 lim Δ?→0Δ? = lim

save_pretrained(quant_path) 然后你就可以得到一个可以用于部署的 AWQ 量化模型。玩得开心！ 1.8 GPTQ GPTQ 是一种针对类 GPT 大型语言模型的量化方法，它基于近似二阶信息进行一次性权重量化。在本文 档中，我们将向您展示如何使用 transformers 库加载并应用量化后的模型，同时也会指导您如何通过 AutoGPTQ 来对您自己的模型进行量化处理。 1.8.1 在 Transformers SkyPilot 是什么 SkyPilot 是一个可以在任何云上运行 LLM、AI 应用以及批量任务的框架，旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括： • 通过跨区域和跨云充分利用多个资源池，以获得最佳的 GPU 可用性。 • 把费用降到最低——SkyPilot 在各区域和云平台中为您挑选最便宜的资源。无需任何托管解决方案的 额外加价。 • 将服务扩展到多个副本上，所有副本通过单一 将自动管理这些副本，监控其 健康状况，根据负载进行自动伸缩，并在必要时重启它们。 将返回一个 endpoint，所有发送至该 endpoint 的请求都将被路由至就绪状态的副本。 2. 运行如下命令检查服务的状态： sky serve status qwen 很快，您将看到如下输出： Services NAME VERSION UPTIME STATUS REPLICAS ENDPOINT Qwen

深度神经网络（DNN） 前置知识：线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变 量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线 性组合。 前置知识：单变量线性回归 理想函数 假设函数 损失值（误差） 前置知识：单变量线性回归 前置知识：梯度下降 前置知识：多变量线性回归 假设函数 损失值（误差） 创建会话（运行环境） 使用 TensorBoard 可视化模型数据流图 TensorBoard 可视化工具 在数据处理过程中，用户通常想要可视化地直观查看数据集分布情况。 在模型设计过程中，用户往往需要分析和检查数据流图是否正确实现。 在模型训练过程中，用户也常常需要关注模型参数和超参数变化趋势。 在模型测试过程中，用户也往往需要查看准确率和召回率等评估指标。 因此，TensorFlow 项目组开发了机器学习可视化工具