1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排

. . . . . . 10 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.3 类似 VGG 的卷积神经网络： . . . . . . . . . . . . . 3.1 Model 类 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.2 Model 的实用属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.3 Model 类模型方法 . . . . . . . . . . . . . . . 125 6.3.1 ImageDataGenerator 类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 6.3.2 ImageDataGenerator 类方法 . . . . . . . . . . . . . . . . . . . . . . . . . . 129

Container Platform 集群存在默认存 存储类 储类。它还安装 Container Storage Interface (CSI) 驱动 程序，使集群能够使用各种存储后端。 重要 重要 如果禁用了集群存储功能，集群将没有默认的 storageclass 或任何 CSI 驱动程序。具有管 理员特权的用户可以创建默认存 存储类 储类，并在禁用集群存储功能时手动安装 CSI 驱动程序。 备 备注 注 Operator 创建的存储类可以通过编辑其注解来实现非默认设置，但只要 Operator 运行，这个存 储类就无法被删除。 3.2.3. 控制台功能 用途 用途 Console Operator 为 Console 功能提供功能。 Console Operator 在集群中安装和维护 OpenShift Container Platform web 控制台。Console --quayHostname 和 --quayRoot 安装 Red Hat OpenShift 镜像 registry，则必须 包括该字符串来正确地升级镜像 registry。 如果您要将 mirror registry for Red Hat OpenShift 从 1.2.z 升级到 1.3.0，且您在 1.2.z 部署中使用了

Container Platform 集群存在默认存 存储类 储类。它还安装 Container Storage Interface (CSI) 驱动 程序，使集群能够使用各种存储后端。 重要 重要 如果禁用了集群存储功能，集群将没有默认的 storageclass 或任何 CSI 驱动程序。具有管 理员特权的用户可以创建默认存 存储类 储类，并在禁用集群存储功能时手动安装 CSI 驱动程序。 备 备注 注 第 第 3 章 章 集群功能 集群功能 25 Operator 创建的存储类可以通过编辑其注解来实现非默认设置，但只要 Operator 运行，这个存 储类就无法被删除。 3.2.4. 控制台功能 用途 用途 Console Operator 为 Console 功能提供功能。 Console Operator 在集群中安装和维护 OpenShift Container --quayHostname 和 --quayRoot 安装 Red Hat OpenShift 镜像 registry，则必须 包括该字符串来正确地升级镜像 registry。 如果您要将 mirror registry for Red Hat OpenShift 从 1.2.z 升级到 1.3.0，且您在 1.2.z 部署中使用了

Cluster Network Operator(CNO)的字段： 表 表 4.1. Cluster Network Operator 配置 配置对 对象 象 字段 字段 类 类型 型 描述 描述 metadata.name 字符串 字符串 CNO 对象的名称。这个名称始终是 集群 集群。 spec.clusterNet work array 用于指定从哪些 IP 地址块分配 Pod IP 地址以及集群中每个节点的 集群网络供应商，则 kube-proxy 配置无效。 字段 字段 类 类型 型 描述 描述 defaultNetwork 对 对象配置 象配置 下表列出了 defaultNetwork 对象的值： 表 表 4.2. defaultNetwork 对 对象 象 字段 字段 类 类型 型 描述 描述 type 字符串 字符串 OpenShiftSDN 或 OVNKubernetes。集群网络供 Container Network Interface(CNI)集群网络供应商的配置字段。 表 表 4.3. openshiftSDNConfig object 字段 字段 类 类型 型 描述 描述 模式 模式 字符串 字符串 OpenShift SDN 的网络隔离模式。 mtu integer VXLAN 覆盖网络的最大传输单元(MTU)。这个值通常是自动配置 的。 vxlanPort integer

括 Bootstrap 机 器、网络、负载均衡、存储和独立的集群机器。 安装期间使用三组文件：名为 install-config.yaml 的安装配置文件、Kubernetes 清单，以及您的机器类 型适用的 Ignition 配置文件。 重要 重要 安装期间可以修改控制基础 RHCOS 操作系统的 Kubernetes 和 Ignition 配置文件。但是， 没有可用的验证机制来确认您对这 安 安 装了 装了 Red Hat OpenShift 的镜像 registry，则必须包括该字符串才能正确地升 级镜像 registry。 3.6.1. 为 Red Hat OpenShift 卸载镜像 registry 您可以运行以下命令来从本地主机 中卸载 Red Hat OpenShift --quayRoot 标志。例如，如果使用 --quayRoot example_directory_name 安装了 Red Hat OpenShift 的镜像 registry，则必 须包括该字符串才能正确地卸载镜像 registry。 3.6.2. Red Hat OpenShift 标记的镜像(mirror)registry 以下标记可用于 Red Hat OpenShift 的镜像

括 Bootstrap 机 器、网络、负载均衡、存储和独立的集群机器。 安装期间使用三组文件：名为 install-config.yaml 的安装配置文件、Kubernetes 清单，以及您的机器类 型适用的 Ignition 配置文件。 重要 重要 安装期间可以修改控制基础 RHCOS 操作系统的 Kubernetes 和 Ignition 配置文件。但是， 没有可用的验证机制来确认您对这 --quayHostname 和 --quayRoot 安装 Red Hat OpenShift 镜像 registry，则必须 包括该字符串来正确地升级镜像 registry。 如果您要将 mirror registry for Red Hat OpenShift 从 1.2.z 升级到 1.3.0，且您在 1.2.z 部署中使用了 --quayHostname 和 --quayRoot 安装 Red Hat OpenShift 镜像 registry，则必须包括 该字符串来正确地升级镜像 registry。 3.2.7. 为 Red Hat OpenShift 卸载镜像 registry 您可以运行以下命令来从本地主机中卸载 mirror registry for

Network Operator（CNO）的字段在下表中描述： 表 表 4.1. Cluster Network Operator 配置 配置对 对象 象 字段 字段 类 类型 型 描述 描述 metadata.name 字符串 字符串 CNO 对象的名称。这个名称始终是 cluster。 spec.clusterNet work 数 数组 组 用于指定从哪些 IP 地址块分配 Pod IP 地址以及分配给集群中每个 集群网络供应商，则 kube-proxy 的配置不会起作 用。 字段 字段 类 类型 型 描述 描述 defaultNetwork 对 对象配置 象配置 defaultNetwork 对象的值在下表中定义： 表 表 4.2. defaultNetwork 对 对象 象 字段 字段 类 类型 型 描述 描述 type 字符串 字符串 OpenShiftSDN 或 OVNKubernetes。在安装过程 Container Network Interface（CNI）集群网络供应商的配置字段。 表 表 4.3. openshiftSDNConfig 对 对象 象 字段 字段 类 类型 型 描述 描述 mode 字符串 字符串 OpenShift SDN 的网络隔离模式。 mtu 整数 整数 VXLAN 覆盖网络的最大传输单元 (MTU) 。这个值通常是自动配 置的。 vxlanPort 整数

vSphere Problem Detector Operator 中查看日志 14.9.5. 由 vSphere Problem Detector Operator 运行的配置检查 14.9.6. 关于存储类配置检查 14.9.7. vSphere 问题检测器 Operator 的指标 14.9.8. 其他资源 第 第 15 章 章 在 在 VMC 上安装 上安装 15.1. 在 VMC 上安装集群 括 Bootstrap 机 器、网络、负载均衡、存储和独立的集群机器。 安装期间使用三组文件：名为 install-config.yaml 的安装配置文件、Kubernetes 清单，以及您的机器类 型适用的 Ignition 配置文件。 重要 重要 安装期间可以修改控制基础 RHCOS 操作系统的 Kubernetes 和 Ignition 配置文件。但是， 没有可用的验证机制来确认您对这 安 安 装了 装了 Red Hat OpenShift 的镜像 registry，则必须包括该字符串才能正确地升 级镜像 registry。 3.6.1. 为 Red Hat OpenShift 卸载镜像 registry 您可以运行以下命令来从本地主机 中卸载 Red Hat OpenShift