1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排

classes • Kryo for unknown types Type Examples Tuples Tuple1 through Tuple25 types. POJOs A POJO (plain old Java object) is any Java class that • has an empty default constructor • all fields are

配置 CSI 卷 5.2. CSI INLINE 临时卷 5.3. 共享资源 CSI DRIVER OPERATOR 5.4. CSI 卷快照 5.5. CSI 卷克隆 5.6. 管理默认存储类 5.7. CSI 自动迁移 5.8. 在非正常节点关闭后分离 CSI 卷 5.9. ALICLOUD DISK CSI DRIVER OPERATOR 5.10. AWS ELASTIC BLOCK 使用文件系统扩展持久性卷声明（PVC） 7.6. 在扩展卷失败时进行恢复 第 第 8 章 章 动态 动态置 置备 备 8.1. 关于动态置备 8.2. 可用的动态置备插件 8.3. 定义存储类 8.4. 更改默认存储类 176 177 179 182 185 196 196 196 196 197 197 199 199 199 200 200 201 201 203 203 支持许多类型的存储，包括内部存储和云供应商。您可以在 OpenShift Container Platform 集群中管理持久性和非持久性数据的容器存储。 Storage class 存储类为管理员提供了描述它们所提供的存储类的方法。不同的类可能会映射到服务质量级别、备份 策略，以及由集群管理员决定的任意策略。 VMware vSphere 的虚 的虚拟机磁 机磁盘 (VMDK) 卷 卷 虚拟机磁盘 (VMDK)

使用文件系统扩展持久性卷声明（PVC） 6.5. 在扩展卷失败时进行恢复 第 第 7 章 章 动态 动态置 置备 备 7.1. 关于动态置备 7.2. 可用的动态置备插件 7.3. 定义存储类 7.4. 更改默认存储类 104 105 106 106 106 107 113 OpenShift Container Platform 4.8 存 存储 储 2 目 目录 录 3 第 1 支持许多类型的存储，包括内部存储和云供应商。您可以在 OpenShift Container Platform 集群中管理持久性和非持久性数据的容器存储。 Storage class 存储类为管理员提供了描述它们所提供的存储类的方法。不同的类可能会映射到服务质量级别、备份 策略，以及由集群管理员决定的任意策略。 VMware vSphere 的虚 的虚拟 拟机磁 机磁盘 盘 (VMDK) 卷 卷 虚拟机磁盘 (VMDK) 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 存 存储 储概述 概述 5 1.2. 存储类型 OpenShift Container Platform 存储广泛分为两类，即临时存储和持久性存储。 1.2.1. 临时存储 Pod 和容器具有临时或临时性，面向无状态应用。临时存储可让管理员和开发人员更好地管理其某些操作 的本地存储。如需有关临时存储概述、类型和管理的更多信息，请参阅了解临时存储。

9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9 逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有 望解决此问题的关键技术。 随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 icial General Intelligence，简称 AGI)还有一 段距离，我们仍坚定地相信人工智能时代已经来临。 机器学习是人工智能的一个重要研究领域，而深度学习则是近几年最为火热的一类人 工智能算法。接下来我们将介绍人工智能、机器学习、深度学习的概念以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出

流程 流程 1. 创建一个 YAML 文件，用于指定要使用的存储类和可用性区域。例如： 注意 注意 OpenShift Container Platform 不验证您选择的可用区是否存在。应用配置前，请 验证可用性区域的名称。 2. 在命令行中应用配置： 输 输出示例 出示例 3. 创建一个 YAML 文件，用于指定使用存储类和 openshift-image-registry 命名空间的持久性卷声 输入命名空间 openshift-image-registry。此命名空间允许 Cluster Image Registry Operator 使用 PVC。 可选：调整卷大小。 输入您创建的存储类的名称。 4. 在命令行中应用配置： 输 输出示例 出示例 5. 将镜像 registry 配置中的原始持久性卷声明替换为新声明： 输 输出示例 出示例 接下来的几分钟内，配置将更新。 验证 储 Red Hat OpenShift Data Foundation 集成了多个可与 集成了多个可与 OpenShift 镜 镜像 像 registry 搭配使用的存 搭配使用的存储类 储类 型： 型： Ceph、共享和分布式文件系 、共享和分布式文件系统 统以及内部 以及内部对 对象存 象存储 储 NooBaa 提供多云

设备插件部署方法 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2.9.2. 了解 pod 抢占 2.9.2.1. Pod 抢占和其他调度程序设置 2.9.2.2. 安全终止被抢占的 pod 2.9.3. 配置优先级和抢占 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.5.3.2. 了解过量使用和服务质量类 7.5.3.2.1. 了解如何为不同的服务质量层级保留内存 7.5.3.3. 了解交换内存和 QoS 7.5.3.4. 了解节点过量使用 7.5.3.5. 使用 CPU CFS 配额禁用或强制实施 中已退出或失败的容器。Pod 立即失败并退出。 在 pod 绑定到某个节点后，该 pod 永远不会绑定到另一个节点。这意味着，需要一个控制器才能使 pod 在节点失败后存活： 状况 状况 控制器 控制器类 类型 型 重 重启 启策略 策略 应该终止的 Pod（例如，批量计 算） 作业 OnFailure 或 Never 不应该终止的 Pod（例如，Web 服 务器） 复制控制器 Always。

功能配合工作。 重要 重要 使用 OpenShift Data Foundation 部署 OpenShift Virtualization 时，您必须为 Windows 虚 拟机磁盘创建一个专用存储类。详情请参阅为 Windows 虚拟机优化 ODF PersistentVolume。 您可以将 OpenShift Virtualization 与 OVN-Kubernetes、OpenShiftSDN或认证的 单节点集群没有针对高可用性操作配置，这会导致 OpenShift Virtualization 行为 有显著变化。 现在，为所有 OpenShift Virtualization control plane 组件定义了资源请求和优先级类。 3.3.3. 网络 现在，您可以使用一个 NodeNetworkConfigurationPolicy 清单同时配置多个支持的节点。 现在，附加到 SR-IOV 网络接口的虚拟机不默认支持实时迁移。 在以后的发行版本中，对旧的 HPP 自定义资源的支持以及关联的存储类将被弃用。从 OpenShift Virtualization 4.10 开始，HPP Operator 使用 Kubernetes Container Storage Interface(CSI)驱动 程序来配置本地存储。Operator 继续支持 HPP 自定义资源及关联的存储类的现有（传统）格 式。如果使用 HPP Operator，请计划作为迁移策略的一部分为

功能配合工作。 重要 重要 使用 OpenShift Data Foundation 部署 OpenShift Virtualization 时，您必须为 Windows 虚 拟机磁盘创建一个专用存储类。详情请参阅为 Windows 虚拟机优化 ODF PersistentVolume。 您可以将 OpenShift Virtualization 与 OVN-Kubernetes、OpenShift Container Platform 的最新版本。 1.2. 关于虚拟机磁盘的存储卷 如果您将存储 API 与已知的存储供应商搭配使用，则会自动选择卷和访问模式。但是，如果您使用没有存 储配置集的存储类，则必须选择卷和访问模式。 要获得最佳结果，请使用 accessMode: ReadWriteMany 和 volumeMode: Block。这一点非常重要： 第 第 1 章 章 关于 关于 OPENSHIFT 当前版本不支持删除的功能。 OpenShift Virtualization 不再支持 Red Hat Enterprise Linux 6。 所有新部署都删除了对旧的 HPP 自定义资源和关联的存储类的支持。在 OpenShift Virtualization 4.13 中，HPP Operator 使用 Kubernetes Container Storage Interface (CSI) 驱动程序来配置本地