学习大量样本。 然而，并不是所有的数据都可以用“固定长度”的向量表示。以图像数据为例，如果它们全部来自标准显微 镜设备，那么“固定长度”是可取的；但是如果图像数据来自互联网，它们很难具有相同的分辨率或形状。这 时，将图像裁剪成标准尺寸是一种方法，但这种办法很局限，有丢失信息的风险。此外，文本数据更不符合 “固定长度”的要求。比如，对于亚马逊等电子商务网站上的客户评论，有些文本数据很简短（比如“好极 模型 大多数机器学习会涉及到数据的转换。比如一个“摄取照片并预测笑脸”的系统。再比如通过摄取到的一组 传感器读数预测读数的正常与异常程度。虽然简单的模型能够解决如上简单的问题，但本书中关注的问题超 出了经典方法的极限。深度学习与经典方法的区别主要在于：前者关注的功能强大的模型，这些模型由神经 网络错综复杂的交织在一起，包含层层数据转换，因此被称为深度学习（deep learning）。在讨论深度模型 人类的棋力，使用和蒙特卡洛树抽样 (Silver et al., 2016) 相结合的深度学习。扑克中的挑战是状态空间 很大，而且没有完全观察到（我们不知道对手的牌）。在扑克游戏中，库图斯使用有效的结构化策略超 过了人类的表现 (Brown and Sandholm, 2017) 。这说明了游戏取得了令人瞩目的进步以及先进的算法 在其中发挥了关键作用的事实。 • 人工智能进步的另一个迹象是自动驾驶汽车

https://scholar.google.com/citations?user=P eMuphgAAAAJ&hl=en 看得更清，看得更懂 目录 1. 夜景增强 2. 图像视频去模糊 3. 视频超分辨率 1. 夜景图像增强 Taking photos is easy Amateur photographers typically create underexposed photos Photo Results Input iPhone Lightroom Our result More Results Input iPhone Lightroom Our result 2. 视频超分辨率 Old and Fundamental Several decades ago [Huang et al, 1984] → near recent Many Applications HD video

在图片识别、目标检测、语义分割、图像变换等方向，几乎都是基于深度学习端到端地训 练，获得的模型性能好，适应性强；在 Atria 游戏平台上，DeepMind 设计的 DQN 算法模 型可以在相同的算法、模型结构和超参数的设定下，在 49 个游戏上获得人类相当的游戏水 平，呈现出一定程度的通用智能。图 1.14 是 DQN 算法的网络结构，它并不是针对于某个 游戏而设计的，而是可以控制 Atria 游戏平台上的 49 GAN 模型产生的图片效果达到了肉眼难辨 真伪的程度，如图 1.17 为某 GAN 模型的生成图片。 除了上述应用，深度学习也在其它方向上取得了不俗的效果，比如艺术风格迁移(图 1.18)、超分辨率、AI 换脸、超级夜景等一系列非常实用酷炫的任务，限于篇幅，不再赘 述。 图 1.17 自动生成的图片 图 1.18 艺术风格迁移效果图 1.4.2 自然语言处理 手写数字图片集，输入节点数为 784，第一层的输出节点数是 256，第二层的输出节点数是 128，第三层的输出节点是 10，也就是当前样本属于 10 类别 的概率。 第一步，加载数据集，并定义批大小和学习率超参数，代码如下： batch_size = 512 # batch size lr = 0.001 # 学习率 # 自动下载、加载数据集 train_loader = torch

等，方便平台进行违规处理和风险管控。 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容

神经网络结构搜索（Neural Architecture Search，NAS）和模型融合。 其主要贡献在于开创性地提出了通过均匀缩 放（Accurate Scaling）来调整网络深度 、宽度和分辨率的方法。 23 3.其它现代网络 EfficientNet 24 01 经典网络 4.卷积神经网络使用技巧 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧

在CNN中，局部性、二维邻域结构和平移等方差被融入到整个模型的每一层中。 在ViT中，只有MLP层是局部的、平移等变的，而自注意层是全局的。 二维邻域结构的使用非常少：在模型的开始通过将图像分割成小块，在微调时调整不同分辨率图 像的位置嵌入。 除此之外，初始化时的位置嵌入不携带关于patch二维位置的信息，并且patch之间的所有空间关 系都需要从头学习。 4.模型缺点与改进 29 改进 作为原始图像块的

学 习 （ supervised learning）方式对数据进行二元分类的广义线性 分类器（generalized linear classifier），其决 策边界是对学习样本求解的最大边距超平面（ maximum-margin hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 策面），使得支持向量到该平面的 距离最大。 距离 7 1.支持向量机概述 背景知识 任意超平面可以用下面这个线性方程来描述： ?T? + ? = 0 二维空间点 (?, ?)到直线 ?? + ?? + ? = 0的距离公式是： |?? + ?? + ?| ?2 + ?2 扩展到 ? 维空间后，点 ? = (?1, ?2 … ??) 到超平面 ?T? + ? = 0 的距离为： |?T?+?| ||?|| 持 向量到超平面的距离为 ?，其他点到超平面的距 离大于 ?。每个支持向量到超平面的距离可以写 为：? = |?T?+?| ||?|| 8 1.支持向量机概述 背景知识 ?T? + ? = 0 ?T? + ? = 1 ?T? + ? = −1 ? = |?T? + ?| ||?|| 如图所示，根据支持向量的定义我们知道，支持向量到超平 面的距离为 ?，其他点到超平面的距离大于

2023年04月 深度学习-优化算法 黄海广 副教授 2 01 小批量梯度下降 本章目录 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 3 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 1.小批量梯度下降 4 小批量梯度下降 小批量梯度下降（Mini-Batch −1 ℎ ?(?) − ?(?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 5 小批量梯度下降 6 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 2.优化算法 7 伦敦温度的例子 days temperature ?1 = 40°F ?2 = 49°F ?3 = 45°F 学习率设为? = 1 1+?????????∗epoch−num ?0 （decay-rate称为衰减率，epoch-num为代数，?0为初始学习率） 14 Pytorch的优化器 # 超参数 LR = 0.01 opt_SGD = torch.optim.SGD(net_SGD.parameters(), lr=LR) opt_Momentum = torch.optim.SGD(net_Momentum

qwen1_5-7b-chat-q5_k_m.gguf -n 512 --color -i -cml -f prompts/chat-with- �→qwen.txt -n 指的是要生成的最大 token 数量。这里还有其他超参数供你选择，并且你可以运行 ./main -h 以了解它们。 1.4.3 生成你的 GGUF 文件 We introduce the method of creating and quantizing 为了让您能够快速开始微调，我们直接提供了一个 shell 脚本，您可以无需关注具体细节即可运行。针对不同 类型的训练（例如单 GPU 训练、多 GPU 训练、全参数微调、LoRA 或 Q-LoRA），您可能需要不同的超参数 设置。 cd examples/sft bash finetune.sh -m -d --deepspeed [--use_lora␣ 。如果您使用 LoRA 或 Q-LoRA，只需根据您的需求添加 --use_lora True 或 --q_lora True 。这是开始微调的最简单方式。如果您想更改更多超参数，您可以深入脚本并修改这些参数。 高级用法 在这个部分中，我们介绍 python 脚本以及 shell 脚本的相关细节 Shell 脚本 在展示 Python 代码之前，我们先对包含命令的

confusion_matrix | 混淆矩阵. metrics.classification_report | 含多种评价的分类报告. 25 2.Scikit-learn主要用法 交叉验证及超参数调优 from sklearn.model_selection import cross_val_score clf = DecisionTreeClassifier(max_depth=5) sklearn提供了部分带交叉验证功能的模型 类如LassoCV、LogisticRegressionCV等， 这些类包含cv参数 26 2.Scikit-learn主要用法 交叉验证及超参数调优 超参数调优⸺网格搜索 from sklearn.model_selection import GridSearchCV from sklearn import svm svc = svm.SVC() fit(X_train, y_train) grid_search.best_params_ 在参数网格上进行穷举搜索，方法简单但是搜索速度慢（超参数较多时），且不 容易找到参数空间中的局部最优 27 2.Scikit-learn主要用法 交叉验证及超参数调优 超参数调优⸺随机搜索 from sklearn.model_selection import RandomizedSearchCV from