怎么用自己的服务器做网站,软件接口设计文档,官方网站下载安装qq,网站制作好公司比起传统的K-means算法#xff0c;谱聚类对数据分布的适应性更强#xff0c;计算量也要小很多。1. 谱聚类概述谱聚类是从图论中演化出来#xff0c;主要思想是吧所有的数据看作空间中的点#xff0c;这些点之间可以用边连接起来。距离较远的两个点之间的边权重值较低#…比起传统的K-means算法谱聚类对数据分布的适应性更强计算量也要小很多。1. 谱聚类概述谱聚类是从图论中演化出来主要思想是吧所有的数据看作空间中的点这些点之间可以用边连接起来。距离较远的两个点之间的边权重值较低而距离较近的两个点之间的权重值较高通过对所有数据点组成的图进行切图让切图后不同子图间边权重和尽可能的低子图内的边权重和尽可能的高从而达到聚类的目的。2. 谱聚类基础之一无向权重图 对于一个图G我们一般用点的集合 V 和边的集合E来描述。即为G(V,E)。其中 V 即为我们数据集里面所有的点(v1,v2,...vn)。对于V中的任意两个点可以有边连接也可以没有边连接。我们定义权重wij为点vi和点vj之间的权重。由于我们是无向图所以wijwji。 对于有边连接的两个点vi和vjwij0,对于没有边连接的两个点vi和vjwij0。对于图中的任意一个点vi它的度di定义为和它相连的所有边的权重之和 利用每个点度的定义我们可以得到一个nxn的度矩阵D,它是一个对角矩阵只有主对角线有值对应第i行的第i个点的度数定义如下 利用所有点之间的权重值我们可以得到图的邻接矩阵W它也是一个n×n的矩阵第i行的第j个值对应我们的权重wij。除此之外对于点集V的的一个子集A⊂V我们定义3. 谱聚类基础之二相似矩阵 在上一节我们讲到了邻接矩阵W它是由任意两点之间的权重值wij组成的矩阵。通常我们可以自己输入权重但是在谱聚类中我们只有数据点的定义并没有直接给出这个邻接矩阵那么怎么得到这个邻接矩阵呢 基本思想是距离较远的两个点之间的边权重值较低而距离较近的两个点之间的边权重值较高不过这仅仅是定性我们需要定量的权重值。一般来说我们可以通过样本点距离度量的相似矩阵S来获得邻接矩阵W。在实际的应用中使用第三种全连接法来建立邻接矩阵是最普遍的而在全连接法中使用高斯径向核RBF是最普遍的。4. 谱聚类基础之三拉普拉斯矩阵 单独把拉普拉斯矩阵(Graph Laplacians)拿出来介绍是因为后面的算法和这个矩阵的性质息息相关。它的定义很简单拉普拉斯矩阵LD−W。D即为我们第二节讲的度矩阵它是一个对角矩阵。而W即为我们第二节讲的邻接矩阵它可以由我们第三节的方法构建出。 拉普拉斯矩阵有一些很好的性质如下 1拉普拉斯矩阵是对称矩阵这可以由D和W都是对称矩阵而得。 2由于拉普拉斯矩阵是对称矩阵则它的所有的特征值都是实数。 3对于任意的向量f,我们有 4) 拉普拉斯矩阵是半正定的且对应的n个实数特征值都大于等于0即0λ1≤λ2≤...≤λn 且最小的特征值为0这个由性质3很容易得出。5. 谱聚类基础之四无向图切图 对于无向图G的切图我们的目标是将图G(V,E)切成相互没有连接的k个子图每个子图点的集合为A1,A2,..Ak它们满足Ai∩Aj∅,且A1∪A2∪...∪AkV. 那么如何切图可以让子图内的点权重和高子图间的点权重和低呢一个自然的想法就是最小化cut(A1,A2,...Ak), 但是可以发现这种极小化的切图存在问题如下图 我们选择一个权重最小的边缘的点比如C和H之间进行cut这样可以最小化cut(A1,A2,...Ak), 但是却不是最优的切图如何避免这种切图并且找到类似图中Best Cut这样的最优切图呢我们下一节就来看看谱聚类使用的切图方法。6. 谱聚类之切图聚类为了避免最小切图导致的切图效果不佳我们需要对每个子图的规模做出限定一般来说有两种切图方式第一种是RatioCut第二种是Ncut。下面我们分别加以介绍。6.1 RatioCut切图 RatioCut切图为了避免第五节的最小切图对每个切图不光考虑最小化cut(A1,A2,...Ak)它还同时考虑最大化每个子图点的个数即由于我们在使用维度规约的时候损失了少量信息导致得到的优化后的指示向量h对应的H现在不能完全指示各样本的归属因此一般在得到nxk维度的矩阵H后还需要对每一行进行一次传统的聚类比如使用K-Means聚类.6.2 Ncut切图7. 谱聚类算法流程 一般来说谱聚类主要的注意点为相似矩阵的生成方式、切图的方式以及最后的聚类方法。最常用的相似矩阵的生成方式是基于高斯核距离的全连接方式。最常用的切图方式是Ncut。而到最后常用的聚类方法为K-Means。下面为Ncut总结的谱聚类算法流程。 输入样本集D(x1,x2,...,xn)相似矩阵的生成方式, 降维后的维度k1, 聚类方法聚类后的维度k2 输出 簇划分C(c1,c2,...ck2). 1根据输入的相似矩阵的生成方式构建样本的相似矩阵2根据相似矩阵S构建邻接矩阵W构建度矩阵D3计算出拉普拉斯矩阵L 4构建标准化后的拉普拉斯矩阵D−1/2LD−1/2 5计算D−1/2LD−1/2 最小的k1个特征值所对应的特征向量f6将各自对应的特征向量f组成的矩阵按行标准化最终组成n×k1维的特征矩阵F7对F中的每一行作为一个k1维的样本共n个样本用输入的聚类方法进行聚类聚类维数为k2. 8得到簇划分C(c1,c2,...ck2). 8. 谱聚类算法总结 主要优点1谱聚类算法只需要数据之间的相似度矩阵因此对于处理稀疏数据的聚类很有效。这点传统聚类算法比如K-Means很难做到2由于使用了降维因此在处理高维数据聚类时的复杂度比传统聚类算法好 主要缺点1如果最终聚类的维度非常高则由于降维的幅度不够谱聚类的运行速度和最后的聚类效果均不好2聚类效果依赖于相似矩阵不同的相似矩阵得到的最终聚类效果可能不同。本文转自谱聚类spectral clustering原理总结www.cnblogs.com
