1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排

9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9 逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有 望解决此问题的关键技术。 随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 icial General Intelligence，简称 AGI)还有一 段距离，我们仍坚定地相信人工智能时代已经来临。 机器学习是人工智能的一个重要研究领域，而深度学习则是近几年最为火热的一类人 工智能算法。接下来我们将介绍人工智能、机器学习、深度学习的概念以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出

. . . . . . 10 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.3 类似 VGG 的卷积神经网络： . . . . . . . . . . . . . 3.1 Model 类 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.2 Model 的实用属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.3 Model 类模型方法 . . . . . . . . . . . . . . . 125 6.3.1 ImageDataGenerator 类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 6.3.2 ImageDataGenerator 类方法 . . . . . . . . . . . . . . . . . . . . . . . . . . 129

. . . . . . . . . . . . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 残差网络（ResNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 7.6.1 函数类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 7.6.2 残差块 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 10节 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在

中比较常用的一种。算法的思想是合成新的少数类样本，而不是简单地复 制样本。算法过程如图： 不平衡数据的处理 （a）原始样本 （b）选定少类样本 （c）找到靠近?的 ?个少类样本 （d）增加样本 8 代价敏感学习 不平衡数据的处理 代价敏感学习是指为不同类别的样本提供不同的权重，从而让机器学习模 型进行学习的一种方法 比如风控或者入侵检测，这两类任务都具有严重的数据不平衡问题，可以 可以 在算法学习的时候，为少类样本设置更高的学习权重，从而让算法更加专 注于少类样本的分类情况，提高对少类样本分类的查全率，但是也会将很 多多类样本分类为少类样本，降低少类样本分类的查准率。 9 01 数据集划分 02 评价指标 2.评价指标 03 正则化、偏差和方差 10 预测值 Positive Negtive 实际值 Positive TP FN = 2 × Precision × Recall Precision + Recall 11 评价指标 有100张照片，其中，猫的照片有60张，狗的照片是40张。 输入这100张照片进行二分类识别，找出这100张照片中的所有的猫。 正例（Positives）：识别对的 负例（Negatives）：识别错的 预测值 Positive Negtive 实际值 Positive TP=40

5 二分类 分类问题 1 2 我们先从用蓝色圆形数据定义为类 型1，其余数据为类型2； 只需要分类1次 步骤：①->② ① ② 二分类 6 多分类 分类问题 1 rest 1 2 rest One-vs-All (One-vs-Rest) 我们先定义其中一类为类型1（正 类），其余数据为负类（rest）； 接下来去掉类型1数据，剩余部分 再次进行二分类，分成类型2和负 再次进行二分类，分成类型2和负 类；如果有?类，那就需要分类?-1 次 步骤：①->②->③->…… ① ② ③ 一对多 (一对余) 7 2.Sigmoid函数 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 8 ? ? 代表一个常用的逻辑函数（logistic function）为?形函数（Sigmoid function） 则：? ? ?， 则?可以融入到?0，即：?=?T? 9 2.Sigmoid函数 线性回归的函数 ℎ ? = ? = ?T?，范围是(−∞, +∞)。 而分类预测结果需要得到[0,1]的概率值。 在二分类模型中，事件的几率odds：事件发生与事件不发生的概率之比为 ? 1−?， 称为事件的发生比（the odds of experiencing an event） 其中?为随机事件发生的概率，

据分析师首选的机器学习工具包。 自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了， scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学 习算法。还包括了特征提取，数据处理和模型评估三大模块。 5 6 2.Scikit-learn主要用法 01 Scikit-learn概述 02 Scikit-learn主要用法 y_train) y_pred = clf.predict(X_test) y_prob = clf.predict_proba(X_test) 使用决策树分类算法解决二分类问题， y_prob 为每个样本预测为 “0”和“1”类的概率 16 1.Scikit-learn概述 逻辑回归 支持向量机 朴素贝叶斯 K近邻 linear_model.LogisticRegression svm.SVC GradientBoostingRegressor 18 2.Scikit-learn主要用法 无监督学习算法 sklearn.cluster模块包含了一系列无监督聚类算法. from sklearn.cluster import KMeans 构建聚类实例 kmeans = KMeans(n_clusters=3, random_state=0) 拟合 kmeans.fit(X_train) 预测 kmeans

论文，并有10多项相关领域的专利。  业余爱好： 骑行 个人简介 电子邮箱： jim.cheng@ususing.com 5 议程 • 深度学习与商品搜索  矢量化搜索技术简介  基于词语聚类的矢量化  基于用户会话的矢量化  原型评测结果及效果示例 • 深度学习与聊天机器人  聊天机器人简介  聊天机器人主要模块及架构  深度学习探索  聊天机器人评测结果 6 • 语义词汇差异 基于词语聚类的矢量化模型 • Word2vec等工具可以有效地将词语转化为向量 • 将句子／段落／文章有效转化为向量则有很大的挑战。  简单平均／加权平均容易失去句子等的语义／结构信息  直接以句子为单位进行训练， 则训练文本严重不足 • 电商搜索中遇到的主要是句子／短文分析， 可以将短文中的词语聚类， 挑选具有代表 性的词语聚类结果， 来表示整个短文 • 传统聚类（如Kmeans)在几何距离的基础上进行聚类， 传统聚类（如Kmeans)在几何距离的基础上进行聚类， 效果不好。 利用随机过程做词 语聚类可以解决这一问题 11 具体的生成cluster的流程如图： V[i]: 为产品信息里每个词的词语向量(word vector)分数 C[i]: 为聚类(cluster)的vector分数 N: 为cluster的数目 Sim(I, j): 词语i 与cluster j的余弦相似度 Random: 生成一个0 – 1之间的随机数

失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 深度学习是基于计算图完成模型构建，实现数据在各个计算图 节点之间流动，最终输出，因此计算图又被称为数据流图。 根据构建计算图的方式不同还可以分为静态图与动态图， Pytorch 默认是基于动态图的方式构建计算图，动态图采用类 似 python 语法，可以随时运行，灵活修改调整；而静态图则 是效率优先，但是在图构建完成之前无法直接运行。可以看出 动态图更加趋向于开发者平时接触的面向对象的编程方式，也 更容易被开发者 output_dim) def forward(self, x): out = self.linear(x) return out LinearRegressionModel 是一个自定义的类，继承了 torch. nn.Module，其中 torch.nn.Linear 就表示构建了公式 1-1 的 线性模型，重载方法 forward，表示根据模型计算返回预测 结果。 第三步：创建损失功能与优化器