1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 区分正样本和负样本的决策边界，需要据此拟合一个假设函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

论文，并有10多项相关领域的专利。  业余爱好： 骑行 个人简介 电子邮箱： jim.cheng@ususing.com 5 议程 • 深度学习与商品搜索  矢量化搜索技术简介  基于词语聚类的矢量化  基于用户会话的矢量化  原型评测结果及效果示例 • 深度学习与聊天机器人  聊天机器人简介  聊天机器人主要模块及架构  深度学习探索  聊天机器人评测结果 6 • 语义词汇差异 10 基于词语聚类的矢量化模型 • Word2vec等工具可以有效地将词语转化为向量 • 将句子／段落／文章有效转化为向量则有很大的挑战。  简单平均／加权平均容易失去句子等的语义／结构信息  直接以句子为单位进行训练， 则训练文本严重不足 • 电商搜索中遇到的主要是句子／短文分析， 可以将短文中的词语聚类， 挑选具有代表 性的词语聚类结果， 来表示整个短文 • 传统聚类（如Kmeans)在几何距离的基础上进行聚类， 传统聚类（如Kmeans)在几何距离的基础上进行聚类， 效果不好。 利用随机过程做词 语聚类可以解决这一问题 11 具体的生成cluster的流程如图： V[i]: 为产品信息里每个词的词语向量(word vector)分数 C[i]: 为聚类(cluster)的vector分数 N: 为cluster的数目 Sim(I, j): 词语i 与cluster j的余弦相似度 Random: 生成一个0 – 1之间的随机数

是数 据分析师首选的机器学习工具包。 自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了， scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学 习算法。还包括了特征提取，数据处理和模型评估三大模块。 5 6 2.Scikit-learn主要用法 01 Scikit-learn概述 02 Scikit-learn主要用法 GradientBoostingRegressor 18 2.Scikit-learn主要用法 无监督学习算法 sklearn.cluster模块包含了一系列无监督聚类算法. from sklearn.cluster import KMeans 构建聚类实例 kmeans = KMeans(n_clusters=3, random_state=0) 拟合 kmeans.fit(X_train) 预测 kmeans explained_variance_ratio_) 投影后的特征维度的方差 print(pca.explained_variance_) 20 2.Scikit-learn主要用法 无监督学习算法-聚类 DBSCAN 层次聚类 谱聚类 cluster.DBSCAN cluster.AgglomerativeClustering cluster.SpectralClustering 21 2.Scikit-learn主要用法

有一个K个人的人脸数据库 • 获取输入图像 • 如果图像是K个人中的某人（或不认识） • 输入图片，以及某人的ID或者是名字 • 验证输入图片是否是这个人 人脸聚类（Face Clustering） 在数据库中对人脸进行聚类， 直接K-Means即可。 5 1.人脸识别概述 人脸检测的步骤 • 人脸定位 确定是否存在人脸,人脸存在的位置、范围等 • 人脸对齐 把众多人脸图像转换到一个统一角度和姿势

非连续帧上的特征点轨迹匹配 • 快速匹配矩阵估计 • 检测有公共内容的子序列进行特征轨迹匹配 快速匹配矩阵估计 • 每个轨迹有一组描述向量 • 特征轨迹描述量 • 采用分层的K-means方法进行轨迹描述量聚类 快速匹配矩阵估计 非连续特征轨迹匹配 • 同时进行图像对的特征匹配和优化匹配矩阵 • 根据选择的图像对的特征匹配结果对匹配矩阵进行优化； • 根据更新的匹配矩阵更可靠地选择出有公共内容的图像对进行特征匹配。

就是当数据特征取值范围或单位差异 较大时，最好是做一下标准化处理。 3.正则化、偏差和方差 18 需要做数据归一化/标准化 线性模型，如基于距离度量的模型包括KNN(K近邻)、K-means聚类、 感知机和SVM、神经网络。另外，线性回归类的几个模型一般情况下也 是需要做数据归一化/标准化处理的。 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取

征数据分布没有发生改变。 就是当数据特征取值范围或单位差异 较大时，最好是做一下标准化处理。 21 数据归一化/标准化 需要做数据归一化/标准化 线性模型，如基于距离度量的模型包括KNN(K近邻)、K-means聚类、 感知机和SVM。另外，线性回归类的几个模型一般情况下也是需要做数 据归一化/标准化处理的。 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取

in Deep Learning Era https://arxiv.org/abs/1707.02968 数据除了人工以外的获取方法 • 扩增数据 – 各种图像增强，加噪声 • 非监督学习 - 聚类 • 迁移学习 – 利用相似任务训练好的网络 • 生成样本数据 – 深度生成对抗网络 SACC2017 深度学习 训练框架 和 硬件选择 不同场景，不同框架 特性 GTX - 1080TI

换句话说位于某范围的时间序列中，开头的时间戳 包含在内，结尾的时间戳是不包含在内的。 45 降采样 降采样时间颗粒会变 大，数据量是减少的 。为了避免有些时间 戳对应的数据闲置， 可以利用内置方法聚 合数据。 2018-1-1 2018-2-1 2018-3-1 2018-4-1 2018-5-1 2018-6-1 2018-7-1 2018-1-1 2018-4-1 2018-7-1

根据肿瘤的体积、患者的年龄来判断良性或恶性？ ✓ 回归（Regression、Prediction） ✓ 如何预测上海浦东的房价？ ✓ 未来的股票市场走向？ 2. 机器学习的类型-监督学习 17 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的 空间中？