晋江网站建设公司,电脑培训网,广东深圳职业技术学校,网站备案要幕布文章目录一、定义二、聚类、分类区别分类三、聚类常用算法1.划分聚类 k-means、k-medoids、k-modes、k-medians、kernel k-means2.层次聚类 Agglomerative 、divisive、BIRCH、ROCK、Chameleon3.密度聚类 DBSCAN、OPTICS5.模型聚类 GMM6.图聚类 Spectral Clustering#xff08…
文章目录一、定义二、聚类、分类区别分类三、聚类常用算法1.划分聚类 k-means、k-medoids、k-modes、k-medians、kernel k-means2.层次聚类 Agglomerative 、divisive、BIRCH、ROCK、Chameleon3.密度聚类 DBSCAN、OPTICS5.模型聚类 GMM6.图聚类 Spectral Clustering谱聚类一、定义
聚类Clustering就是一种寻找数据之间内在结构的技术。聚类把全体数据实例组织成一些相似组而这些相似组被称作簇。处于相同簇中的数据实例彼此相同处于不同簇中的实例彼此不同。数据之间的相似性是通过定义一个距离或者相似性系数来判别的。
二、聚类、分类区别分类
分类聚类是一种有监督式的学习过程是一种无监督式的学习过程其初始和结果都是有标签式标记其初始和结果无标签式标记其结果是有意义的分类其结果无意义的分类是示例式学习是观察式学习
三、聚类常用算法
1.划分聚类 k-means、k-medoids、k-modes、k-medians、kernel k-means
基于划分的聚类方法是一种自顶向下的方法对于给定的 n 个数据对象的数据集 D将数据对象组织成 k(k≤n) 个分区其中每个分区代表一个簇。示意图
2.层次聚类 Agglomerative 、divisive、BIRCH、ROCK、Chameleon
基于层次的聚类方法是指对给定的数据进行层次分解直到满足某种条件为止。该算法根据层次分解的顺序分为自底向上法和自顶向下法即凝聚式层次聚类算法和分裂式层次聚类算法。 1自底向上法。 首先每个数据对象都是一个簇计算数据对象之间的距离每次将距离最近的点合并到同一个簇。然后计算簇与簇之间的距离将距离最近的簇合并为一个大簇。不停地合并直到合成了一个簇或者达到某个终止条件为止。 簇与簇的距离的计算方法有最短距离法、中间距离法、类平均法等其中最短距离法是将簇与簇的距离定义为簇与簇之间数据对象的最短距离。自底向上法的代表算法是AGNES(AGglomerativeNESing)算法。 2自顶向下法。 该方法在一开始所有个体都属于一个簇然后逐渐细分为更小的簇直到最终每个数据对象都在不同的簇中或者达到某个终止条件为止。自顶向下法的代表算法是 DIANADivisiveANAlysis算法。 基于层次的聚类算法的主要优点包括距离和规则的相似度容易定义限制少不需要预先制定簇的个数可以发现簇的层次关系。基于层次的聚类算法的主要缺点包括计算复杂度太高奇异值也能产生很大影响算法很可能聚类成链状。
3.密度聚类 DBSCAN、OPTICS
基于密度的聚类方法的主要目标是寻找被低密度区域分离的高密度区域。与基于距离的聚类算法不同的是基于距离的聚类算法的聚类结果是球状的簇而基于密度的聚类算法可以发现任意形状的簇。 基于密度的聚类方法是从数据对象分布区域的密度着手的。如果给定类中的数据对象在给定的范围区域中则数据对象的密度超过某一阈值就继续聚类。 这种方法通过连接密度较大的区域能够形成不同形状的簇而且可以消除孤立点和噪声对聚类质量的影响以及发现任意形状的簇。示意图: 4.网格聚类 STING 基于网格的聚类方法将空间量化为有限数目的单元可以形成一个网格结构所有聚类都在网格上进行。基本思想就是将每个属性的可能值分割成许多相邻的区间并创建网格单元的集合。每个对象落入一个网格单元网格单元对应的属性空间包含该对象的值. 基于网格的聚类方法的主要优点是处理速度快其处理时间独立于数据对象数而仅依赖于量化空间中的每一维的单元数。这类算法的缺点是只能发现边界是水平或垂直的簇而不能检测到斜边界。另外在处理高维数据时网格单元的数目会随着属性维数的增长而成指数级增长。 示意图
5.模型聚类 GMM
基于模型的聚类方法是试图优化给定的数据和某些数学模型之间的适应性的。该方法给每一个簇假定了一个模型然后寻找数据对给定模型的最佳拟合。假定的模型可能是代表数据对象在空间分布情况的密度函数或者其他函数。这种方法的基本原理就是假定目标数据集是由一系列潜在的概率分布所决定的。 下图给出了对基于划分的聚类方法和基于模型的聚类方法进行了对比。左侧给出的结果是基于距离的聚类方法核心原则就是将距离近的点聚在一起。右侧给出的基于概率分布模型的聚类方法这里采用的概率分布模型是有一定弧度的椭圆。标出了两个实心的点这两点的距离很近在基于距离的聚类方法中它们聚在一个簇中但基于概率分布模型的聚类方法则将它们分在不同的簇中这是为了满足特定的概率分布模型。
6.图聚类 Spectral Clustering谱聚类
基于图聚的聚类方法是把所有的数据看做空间中的点这些点之间可以用边连接起来。距离较远的两个点之间的边权重值较低而距离较近的两个点之间的边权重值较高通过对所有数据点组成的图进行切图让切图后不同的子图间边权重和尽可能的低而子图内的边权重和尽可能的高从而达到聚类的目的。
