内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 12.4.3 存储器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518 12.4.4 CPU 多机训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545 12.7.4 键值存储 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547 13 计算机视觉 549 图1 中用不同的颜色呈现： 目录 3 图1: 全书结构 • 第一部分包括基础知识和预备知识。1节 提供深度学习的入门课程。然后在 2节 中，我们将快速介绍实 践深度学习所需的前提条件，例如如何存储和处理数据，以及如何应用基于线性代数、微积分和概率基 本概念的各种数值运算。3节 和 4节 涵盖了深度学习的最基本概念和技术，例如线性回归、多层感知机 和正则化。 • 接下来的五章集中讨论现代深度学习技术。5节

的数 字图片识别为例，如图 3.1 所示，需要收集较多的由真人书写的 0~9 的数字图片，为了便 于存储和计算，通常把收集的原始图片缩放到某个固定的大小(Size 或 Shape)，比如 224 个 像素的行和 224 个像素的列(224 × 224)，或者 96 个像素的行和 96 个像素的列(96 × 96)， 图片样本将作为输入数据 x。同时，还需要给每一张图片标注一个标签(Label)信息，它将 格、粗细等丰富的样式，使得数据集的分布与真实的手写数字图片的分布尽可能地接近， 从而保证了模型的泛化能力。 图 3.2 MNIST 数据集样例图片 现在来讨论图片的表示方法。一张图片包含了ℎ行(Height/Row)，?列(Width/Column)， 每个位置保存了像素(Pixel)值，像素值一般使用 0~255 的整形数值来表达颜色强度信息， 例如 0 表示强度最低，255 表示强度最高。如果是彩色图片，则每个像素点包含了 1]形状的张量)。图 3.3 演示 了内容为 8 的数字图片的矩阵内容，可以看到，图片中黑色的像素用 0 表示，灰度信息用 0~255 表示，图片中越白的像素点，对应矩阵位置中数值也就越大。 28行28列 图 3.3 图片的表示示意图① ① 素材来自 https://towardsdatascience.com/how-to-teach-a-computer-to-see-with-

2016年 C轮融资 估值20亿美元 9 机器学习的范围 10 • 给定数据的预测问题 ✓ 数据清洗/特征选择 ✓ 确定算法模型/参数优化 ✓ 结果预测 • 不能解决什么 ✓ 大数据存储/并行计算 ✓ 做一个机器人 机器学习可以解决什么问题 11 机器学习发展史 总的来说，人工智能经历了逻辑推理、知识工程、机器 学习三个阶段。 机器学习伴随着人工智能的发展而诞生，它是人工智能 行列式的某一行（列）的所有的元素都乘以 同一数?，等于用数?乘此行列式。 ⚫ ? ∈ ℝ?×?, det(?) = det(?T). ⚫ ?, ? ∈ ℝ?×?, det(??) = det(?)det(?) ⚫ 当且仅当?为奇异方阵时，det(?) = 0 ⚫ 当?为非奇异方阵时，det(?−1) = 1/det(?) 39 线性代数-矩阵 矩阵：? × ?个数???排成?行?列的表格 = 2(?? − ?)?T d?T?? d? = 2??（如果?为对称阵） ?为? × ?的矩阵，?为? × 1的列向量 41 线性代数 正交 给定?, ? ∈ ℝ?×1，如果 ?T? = 0, 那么向量?, ?正交。 对于方阵? ∈ ℝ?×? 来说，如果?的列向量两两正交，且ℓ2范数为1 ，那么?为正交阵，数学描述为?T? = ? = ??T。 正定性 对于 ? ∈ ℝ?×

行列式的某一行（列）的所有的元素都乘以 同一数?，等于用数?乘此行列式。 ⚫ ? ∈ ℝ?×?, det(?) = det(?T). ⚫ ?, ? ∈ ℝ?×?, det(??) = det(?)det(?) ⚫ 当且仅当?为奇异方阵时，det(?) = 0 ⚫ 当?为非奇异方阵时，det(?−1) = 1/det(?) 40 线性代数-矩阵 矩阵：? × ?个数???排成?行?列的表格 = 2(?? − ?)?T d?T?? d? = 2??（如果?为对称阵） ?为? × ?的矩阵，?为? × 1的列向量 42 线性代数 正交 给定?, ? ∈ ℝ?×1，如果 ?T? = 0, 那么向量?, ?正交。 对于方阵? ∈ ℝ?×? 来说，如果?的列向量两两正交，且ℓ2范数为1 ，那么?为正交阵，数学描述为?T? = ? = ??T。 正定性 对于 ? ∈ ℝ?× ×?, ∀? ∈ ℝ?×1，满足 ?T?? > 0, A为正定矩阵; ?T?? ≥ 0，?为半正定矩阵。 43 线性代数 行列式按行（列）展开定理 (1) 设? = ??? ?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = ቊ ? , ? = ? 0, ? ≠ ? 或?1??1? + ?2??2? + ⋯ + ?????? = ቊ ? , ? = ? 0, ? ≠

19 Keras 配置文件保存在哪里？ 所有 Keras 数据存储的默认目录是： $HOME/.keras/ 注意，Windows 用户应该将 $HOME 替换为 ％USERPROFILE％。如果 Keras 无法创建上述目录 （例如，由于权限问题），则使用 /tmp/.keras/ 作为备份。 Keras 配置文件是存储在 $HOME/.keras/keras.json 中的 JSON import numpy as np import tensorflow as tf import random as rn # 以下是 Python 3.2.3 以上所必需的， # 为了使某些基于散列的操作可复现。 # https://docs.python.org/3.4/using/cmdline.html#envvar-PYTHONHASHSEED # https://github.co yaml_string = model.to_yaml() model = model_from_yaml(yaml_string) • model.save_weights(filepath): 将模型权重存储为 HDF5 文件。 • model.load_weights(filepath, by_name=False): 从 HDF5 文件（由 save_weights 创 建）中加载权重。默认情况

下图所示的S曲线（不同颜色的图像表示不同类别的数据），t-SNE表现更好 。因为t-SNE主要是关注数据的局部结构。 11 1.降维概述 降维的优缺点 降维的优点： • 通过减少特征的维数，数据集存储所需的空间也相应减少，减少了特征维数所需的计算 训练时间； • 数据集特征的降维有助于快速可视化数据； • 通过处理多重共线性消除冗余特征。 降维的缺点： • 由于降维可能会丢失一些数据； (2) 基于特征值分解协方差矩阵实现PCA算法 39 (1)基于SVD分解协方差矩阵实现PCA算法 3.PCA(主成分分析) PCA 减少?维到?维： 设有?条?维数据，将原始数据按列组成?行?列矩阵? 第一步是均值归一化。我们需要计算出所有特征的均值，然后令 ?? = ?? − ??。（??为均值）。如 果特征是在不同的数量级上，我们还需要将其除以标准差 ?2。 第二步是计算协方差矩阵（covariance 则是一个对角阵，对角线上的元素就是特征值。 备注：对于正交矩阵?，有?−1= ?T 43 (2) 基于特征值分解协方差矩阵实现PCA算法 3.PCA(主成分分析) 设有?条?维数据，将原始数据按列组成?行?列矩阵? 1）均值归一化。我们需要计算出所有特征的均值，然后令 ?? = ?? − ??。（??为均值）。 如果特征是在不同的数量级上，我们还需要将其除以标准差 ?2。 2）计算协方差矩阵?。

9 1.1 认识 NumPy 数组对象 >import numpy as np # 导入NumPy工具包 >data = np.arange(12).reshape(3, 4) # 创建一个3行4列的数组 >data array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) ndarray对维数没有限制。 [ ]从内到外分别为第0轴，第1轴，第2轴，第3轴。 数组元素的个数，输出结果12，表示总共有12个元素 data.dtype # 数组元素的类型，输出结果dtype('int64'),表示元素类型都是 int64 >data.shape # 数组的维度，输出结果(3,4),表示3行4列 >data.ndim # 数组维度的个数，输出结果2，表示二维数组 (3, 4) 12 dtype('int32') 12 1.2 创建 NumPy 数组 >import numpy as array([ 0, 1, 100, 101, 4, 5, 6, 7, 8, 9]) 19 ndarray的切片 ndarray通过切片产生一个新的数组b，b和a共享同一块数据存储空间。 > b = a[3:7] > b[2] = -10 b a --------------------

max_new_tokens=512, streamer=streamer, ) 除了使用 TextStreamer 之外，我们还可以使用 TextIteratorStreamer ，它将可打印的文本存储在一 个队列中，以便下游应用程序作为迭代器来使用： # Repeat the code above before model.generate() # Starting here, we add streamer 模板对文本进行处 理。如果您倾向于使用其他 chat 模板，您也可以选择其他的，例如，仍然通过 “apply_chat_template()“函数配 合另一个 tokenizer 进行应用。Chat 模板存储在 HF 仓库中的 tokenizer_config.json 文件中。此外，我 们还将每个样本的序列填充到最大长度，以便于训练。 class SupervisedDataset(Dataset): data/dataset_info.json 文件中提供您的数据集定义，并采用以下格式： 1.12. 有监督微调 35 Qwen • 对于 alpaca 格式的数据集，其 dataset_info.json 文件中的列应为： "dataset_name": { "file_name": "dataset_name.json", "columns": { "prompt": "instruction", "query":

型训练很有好处。pytorch 中有两个 模块是用来导入数据的：torch.utils.data.Dataset 以及 torch.utils.data.DataLoader。 Dataset 存储样本以及它们的标签等信息，Dataset 可以使用预加载的数据集（例如 mnist）， 也可以使用自定义的数据集；而 DataLoader 是把样本进行访问和索引的工具，它实现了迭代器 功能，也就是说它可以依次将 . u t i l s . data import Dataset from torch . u t i l s . data import DataLoader 前面说过，Dataset 可以存储自定义数据，我们可以继承 Dataset 类，在子类中实现一些固定 功能的函数，这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见，我们先描述如何 使用预加载数据，然后第二章就开 ’ epoch ’ : t } torch . save ( state , path ) print ( ”Done ! ” ) 我们先把正确的数据类别可视化一下： # 取 出 每 一 列 data2_x1 = [ i [ 0 ] for i in data2 ] data2_x2 = [ i [ 1 ] for i in data2 ] import matplotlib . pyplot

，表示 为由实数组成具有 行和 列的矩阵。 ，表示具有 个元素的向量。 通常，向量 将表示列向量: 即，具有 行和 列的矩阵。 如果 我们想要明确地表示行向量: 具有 行和 列的矩阵 - 我们通常写 （这里 的转置）。 表示向量 的第 个元素 我们使用符号 （或 , 等）来表示第 行和第 列中的 的元素： 我们用 或者 表示矩阵 的第 列： 我们用 或者 表示矩阵 的第 行： 行： 在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上 操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通 用约定。 2.矩阵乘法 两个矩阵相乘，其中 and ，则： 其中： 请注意，为了使矩阵乘积存在， 中的列数必须等于 中的行数。有很多方法可以查看矩阵乘法，我们 将从检查一些特殊情况开始。 2 维向量，其元素都等于1，此外，考虑矩阵 ，其列全部等于某个向量 。 我们可以使用外积紧凑地表示矩阵 : 2.2 矩阵-向量乘法 给定矩阵 ，向量 , 它们的积是一个向量 。 有几种方法可以查看矩阵 向量乘法，我们将依次查看它们中的每一种。 如果我们按行写 ，那么我们可以表示 为： 换句话说，第 个 是 的第 行和 的内积，即： 。 同样的， 可以把 写成列的方式，则公式如下： 换句话说，