网站首页设计尺寸,响应式网站的意义,网络建设方案论文,微信公众号设计与布局引言#xff1a; 机器学习领域中所谓的降维就是指采用某种映射方法#xff0c;将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x-y#xff0c;其中x是原始数据点的表达#xff0c;目前最多使用向量表达形式。 y是数据点映射后的低维向… 引言 机器学习领域中所谓的降维就是指采用某种映射方法将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x-y其中x是原始数据点的表达目前最多使用向量表达形式。 y是数据点映射后的低维向量表达通常y的维度小于x的维度当然提高维度也是可以的。f可能是显式的或隐式的、线性的或非线性的。 目前大部分降维算法处理向量表达的数据也有一些降维算法处理高阶张量表达的数据。之所以使用降维后的数据表示是因为在原始的高维空间中包含有冗余信息以及噪音信息在实际应用例如图像识别中造成了误差降低了准确率而通过降维,我们希望减少冗余信息所造成的误差,提高识别或其他应用的精度。又或者希望通过降维算法来寻找数据内部的本质结构特征。 在很多算法中降维算法成为了数据预处理的一部分如PCA。事实上有一些算法如果没有降维预处理其实是很难得到很好的效果的。 注我写的东西有一些口语化而且受限于网页blog的编辑功能很多地方可能有一些简单。 主成分分析算法PCA Principal Component Analysis(PCA)是最常用的线性降维方法它的目标是通过某种线性投影将高维的数据映射到低维的空间中表示并期望在所投影的维度上数据的方差最大以此使用较少的数据维度同时保留住较多的原数据点的特性。 通俗的理解如果把所有的点都映射到一起那么几乎所有的信息如点和点之间的距离关系都丢失了而如果映射后方差尽可能的大那么数据点则会分散开来以此来保留更多的信息。可以证明PCA是丢失原始数据信息最少的一种线性降维方式。实际上就是最接近原始数据但是PCA并不试图去探索数据内在结构 设n维向量w为目标子空间的一个坐标轴方向称为映射向量最大化数据映射后的方差有 其中m是数据实例的个数 xi是数据实例i的向量表达 x拔是所有数据实例的平均向量。定义W为包含所有映射向量为列向量的矩阵经过线性代数变换可以得到如下优化目标函数 其中tr表示矩阵的迹A是数据协方差矩阵。 容易得到最优的W是由数据协方差矩阵前k个最大的特征值对应的特征向量作为列向量构成的。这些特征向量形成一组正交基并且最好地保留了数据中的信息。 PCA的输出就是Y W‘X由X的原始维度降低到了k维。 PCA追求的是在降维之后能够最大化保持数据的内在信息并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。但是这样投影以后对数据的区分作用并不大反而可能使得数据点揉杂在一起无法区分。这也是PCA存在的最大一个问题这导致使用PCA在很多情况下的分类效果并不好。具体可以看下图所示若使用PCA将数据点投影至一维空间上时PCA会选择2轴这使得原本很容易区分的两簇点被揉杂在一起变得无法区分而这时若选择1轴将会得到很好的区分结果。 Discriminant Analysis所追求的目标与PCA不同不是希望保持数据最多的信息而是希望数据在降维后能够很容易地被区分开来。后面会介绍LDA的方法是另一种常见的线性降维方法。另外一些非线性的降维方法利用数据点的局部性质也可以做到比较好地区分结果例如LLELaplacian Eigenmap等。以后会介绍。 引用请注明 http://blog.csdn.net/xbinworld/article/details/6773885 转载于:https://www.cnblogs.com/yihaha/archive/2011/09/22/7265355.html
