1 2023年03月 深度学习-深度学习实践 黄海广 副教授 2 01 数据集划分 02 数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 本章目录 3 训练集（Training Set）：帮助我们训练模型，简单的说就是通过 训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（ Dev

1 2023年05月 深度学习-序列模型 黄海广 副教授 2 03 长短期记忆(LSTM) 04 双向循环神经网络 本章目录 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 3 03 长短期记忆(LSTM) 04 双向循环神经网络 1.序列模型概述 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 4 1.序列模型概述 循环神经网络（RNN）之类的模型在语音识别、自然语言处理和 其他领域中引起变革。 5 数学符号 在这里?<1>表示Harry这个单词，它就是一个第 4075行是1，其余值都是0的向量（上图编号1所示 ），因为那是Harry在这个词典里的位置。 ?<2>是第6830行是1，其余位置都是0的向量（上 图编号2所示）。 它是如何实现的？ 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 8 2.循环神经网络(RNN) ?<1> = ?1(????<0> + ????<1> + ??) ̰? <1> = ?2(????<1> + ??) ?

机器学习-线性代数回顾 黄海广 副教授 2 目录 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 3 1.行列式 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 4 (1) 设? = ??? ?×?，则：??1??1 + 是?阶方阵，??(? = 1,2 ⋯ , ?)是?的?个特征值，则 |?| = ς?=1 ? ?? 6 2.矩阵 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 7 ? × ?个数???排成?行?列的表格 ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ? ? ? ? −1 = ? ?−1 ?−1 ? 这里?，?均为可逆方阵。 2.矩阵 14 2.矩阵 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 15 3.向量 1.有关向量组的线性表示 (1) ?1, ?2, ⋯ , ??线性相关 ⇔至少有一个向量可以用其余向量线性表示。

02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 4 1.时间序列的基本操作 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 5 问题 思考： 什么是时间序列？ -- 表示截断的轴，默认为行索引方向 。 18 2.固定频率的时间序列 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 19 创建固定频率的时间序列 Pandas中提供了一个date_range()函数，主要用 于生成一个具有固定频率的DatetimeIndex对象。 表示移动的幅度，可以为正数，也可 以为负数，默认值是1，代表移动一次。 32 3.时间周期及计算 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 33 创建时期对象 pd.Period(2018) 创建Period类对象的方式比较简单，只需要在构造 方法中以字符串或整数的形式传入一个日期即可。

2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 词汇表征和文本数据处理 6 1.词汇表征和文本数据处理 7 1.词汇表征和文本数据处理 8 2.词嵌入 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 9 2.词嵌入 “Sally Johnson is an orange farmer.” “Robert Lin is an apple queen，最后也会得到一样的结果 12 2.词嵌入 嵌入矩阵 13 2.词嵌入 嵌入矩阵 14 3.Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词）

模型训练策略 本章目录 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 3 1.背景知识 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 4 1.背景知识 图片分类的原理 5 2017年google的机器翻译团队在 NIPS上发表了Attention 是Transformer的encode网络。 1.背景知识 8 2.模型介绍 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 9 模型思路 2.模型介绍 1.图片切分为patch 2.patch转化为embedding 3.位置embedding和tokensembedding相加 4 = ??/?2， 即patch的个数。 2.模型介绍 24 3.模型训练策略 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 25 3.模型训练策略 训练策略 模型在Dataset A上预训练，在Dataset B上精调，在Dataset B上评估 26 数据集介绍 在ImageNet(s

目录 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 3 1.随机事件和概率 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 4 1.事件的关系与运算 (1) 子事件： 1（ 或0）的事件与任何事件相互独立. 1.随机事件和概率 14 2.随机变量及其概率分布 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 15 1.随机变量及概率分布 取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机 变量，概率分布通常指分布函数或分布律 (6) 存在既非离散也非连续型随机变量。 2.随机变量及其概率分布 21 3.多维随机变量及其分布 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 22 1.二维随机变量及其联合分布 由两个随机变量构成的随机向量(?, ?)， 联合分布为?(?, ?) = ?(? ≤ ?, ?

learning to the rescue!." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 34. No. 05. 2020. TREC (Open Domain Questions) 6.6 2.8 45.0 WVA (Telco Customer Support) 2.1 4.5 23.0 Table 0] [0, 1, 0, 0] [0, 0, 1, 0] [0, 0, 0, 1] Soft [.80, .15, .03, .02] [.15, .75, .05, .05] [.03, .02, .85, .10] [.05, .05, .20, .79] Table 3-6: A depiction of differences between hard and soft labels for