Lecture 5: Gaussian Discriminant Analysis, Naive Bayes and EM Algorithm Feng Li Shandong University fli@sdu.edu.cn September 27, 2023 Feng Li (SDU) GDA, NB and EM September 27, 2023 1 / 122 Outline Outline 1 Probability Theory Review 2 A Warm-Up Case 3 Gaussian Discriminate Analysis 4 Naive Bayes 5 Expectation-Maximization (EM) Algorithm Feng Li (SDU) GDA, NB and EM September 27, 2023 2 / 122 Probability P(A � B) = P(A) + P(B) − P(A � B) P(A¬) = 1 − P(A) Feng Li (SDU) GDA, NB and EM September 27, 2023 5 / 122 Conditional Probability Definition of conditional probability: Fraction of worlds in which event

models achieve higher compression ratio which results in lower transmission and storage costs. Figure 5-1 visually depicts two networks. The one on the left is the original network and the one on the right ourselves that setting parameter values to zero indeed results in a higher compression ratio. Figure 5-1: An illustration of pruning weights (connections) and neurons (nodes) in a neural network consisting scores are assigned, the weights are pruned in the ascending order of their saliency scores. Figure 5-2 describes a sparsity training algorithm. It operates on a pre-trained dense network with weights and

基础：图像分类问题定义与说明 图像分类问题 语义级分类 细粒度分类 图像分类问题 实例级分类 识别问题 图像分类问题 实例级分类 识别问题 图像分类问题 图像分类评估：Top-1 / Top-5 准确率 图像分类评估：混淆矩阵 图像分类评估：ROC 曲线 基础：越来越深的图像分类网络 历年 SOTA 模型对比 AlexNet（2012） AlexNet（2012） AlexNet（2012）

关联关系，那么，其中 一个事物就能够通过其他事物预测到。 关联规则可以看作是一种IF-THEN关系。假设 商品A被客户购买，那么在相同的交易ID下， 商品B也被客户挑选的机会就被发现了。 5 1.关联规则概述 有没有发生过这样的事：你出去买东西， 结果却买了比你计划的多得多的东西？这 是一种被称为冲动购买的现象，大型零售 商利用机器学习和Apriori算法，让我们倾 向于购买更多的商品。 第一次迭代：假设支持度阈值为2，创建大小为1的项集并计算它们的支持度。 订单编号 项目 T1 1 3 4 T2 2 3 5 T3 1 2 3 5 T4 2 5 T5 1 3 5 项集 支持度 {1} 3 {2} 3 {3} 4 {4} 1 {5} 4 C1 13 2.Apriori算法 算法案例 可以看到，第4项的支持度为1，小于最小支持度2。所以我们将在接下来的 {3} 4 {4} 1 {5} 4 C1 项集 支持度 {1} 3 {2} 3 {3} 4 {5} 4 F1 14 2.Apriori算法 算法案例 第2次迭代：接下来我们将创建大小为2的项集，并计算它们的支持度。F1中设 置的所有项 项集 支持度 {1,2} 1 {1,3} 3 {1,5} 2 {2,3} 2 {2,5} 3 {3,5} 3 F2 项集 支持度

总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 4 个部份：第 1~3 章为第 1 部分，主要介绍人工智能的初 步认知，并引出相关问题；第 4~5 章为第 2 部分，主要介绍 PyTorch 相关基础，为后续算法 实现铺垫；第 6~9 章为第 3 部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 10~15 章为模型算 n.htm?share=2&shareId=48000000184 7407&courseId=1209092816&_trace_c _p_k2_=9e74eb6f891d47cfaa6f00b5cb 5f617c https://study.163.com/course/courseMain.h tm?share=2&shareId=480000001847407& courseId=120 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8

4 2 为什么选择 Keras？ 5 2.1 Keras 优先考虑开发人员的经验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Keras 被工业界和学术界广泛采用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3 Keras 可以轻松将模型转化为产品 3.3.17 如何在 Keras 中使用预训练的模型？ . . . . . . . . . . . . . . . . . . . . . . 35 3.3.18 如何在 Keras 中使用 HDF5 输入？ . . . . . . . . . . . . . . . . . . . . . . . 35 3.3.19 Keras 配置文件保存在哪里？ . . . . . . . . . . . 36 3.3.20 如何在 Keras 开发过程中获取可复现的结果？ . . . . . . . . . . . . . . . . 36 3.3.21 如何在 Keras 中安装 HDF5 或 h5py 来保存我的模型？ . . . . . . . . . . . 37 4 模型 39 4.1 关于 Keras 模型 . . . . . . . . . . . . . . . . .

Python)是Python的一种开源的数值计算扩展库。 它包含很多功能： · 创建n维数组（矩阵） · 对数组进行函数运算 · 数值积分 · 线性代数运算 · 傅里叶变换 · 随机数产生 ······ NumPy是什么？ 5 NumPy提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处 理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大 型金融公司使用，以及核心的科学计算组织如：Lawrence Livermore， np # 导入NumPy工具包 >data = np.arange(12).reshape(3, 4) # 创建一个3行4列的数组 >data array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) ndarray对维数没有限制。 [ ]从内到外分别为第0轴，第1轴，第2轴，第3轴。 NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据 >data1 = np.array([1, 2, 3]) # 创建一个一维数组 >data1 array([[1, 2, 3], [4, 5, 6]]) array([1, 2, 3]) data2 = np.array([[1, 2, 3], [4, 5, 6]]) # 创建一个二维数组 data2 np.zeros((3, 4))#创建一个全0数组 array([[0., 0., 0.,

............................................................................................. 5 Chapter 5. PyTorch Release 23.06....................................................................... container, mount one or more host directories as Docker® data volumes. PyTorch RN-08516-001_v23.07 | 5 Chapter 4. PyTorch Release 23.07 The NVIDIA container image for PyTorch, release 23.07 is available Container Version Ubuntu CUDA Toolkit PyTorch TensorRT 22.02 1.11.0a0+17540c5cTensorRT 8.2.3 22.01 NVIDIA CUDA 11.6.0 1.11.0a0+bfe5ad28TensorRT 8.2.2 21.12 TensorRT 8.2.1.8 21.11 NVIDIA CUDA 11.5.0 1

187 4.10.8 提交Kaggle预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 5 深度学习计算 191 5.1 层和块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 我们着手创建的资源可以：（1）每个人都可以免费获得；（2）提供足够的技术深度，为真正成为一名应用机 器学习科学家提供起步；（3）包括可运行的代码，向读者展示如何解决实践中的问题；（4）允许我们和社区 的快速更新;（5）由一个论坛2作为补充，用于技术细节的互动讨论和回答问题。 这些目标经常是相互冲突的。公式、定理和引用最好用LaTeX来管理和布局。代码最好用Python描述。网页 原生是HTML和JavaScr 及如何应用基于线性代数、微积分和概率基 本概念的各种数值运算。3节 和 4节 涵盖了深度学习的最基本概念和技术，例如线性回归、多层感知机 和正则化。 • 接下来的五章集中讨论现代深度学习技术。5节 描述了深度学习计算的各种关键组件，并为我们随后 实现更复杂的模型奠定了基础。接下来，在 6节 和 7节 中，我们介绍了卷积神经网络（convolutional neural network，C