商丘家具网站建设,昌吉做网站,cms企业网站模板,平面设计技术培训机构在线性代数中#xff0c;有一些特殊的矩阵具有易于分析和操作的特性。它们的特征向量可能具有特定的特征值或特殊关系。还有一些方法可以将一个矩阵分解成这些“更简单”的矩阵。操作复杂性的降低提高了可伸缩性。然而#xff0c;即使这些矩阵都是特殊的#xff0c;它们也不…在线性代数中有一些特殊的矩阵具有易于分析和操作的特性。它们的特征向量可能具有特定的特征值或特殊关系。还有一些方法可以将一个矩阵分解成这些“更简单”的矩阵。操作复杂性的降低提高了可伸缩性。然而即使这些矩阵都是特殊的它们也不是罕见的。在机器学习和许多应用程序中我们经常需要处理它们。对角矩阵对角矩阵S使所有非对角元素等于零。许多分解方法都有一个分解后的矩阵是对角矩阵。由于矩阵只包含对角元素我们有时用向量来表示它。一般矩阵的逆不容易计算。但是求对角矩阵的逆很简单。我们可以用1/m替换对角线元素。如果其中一个矩阵是对角的矩阵乘法就简单多了。但是当任何对角元素等于0或者对角矩阵不是方形的时候它的逆就不存在。但是在一些方法中伪逆矩阵(keep the inverse of 0 as 0)可以用作替代。正交矩阵正交矩阵Q是满足下列要求的方形矩阵Q中的所有列(v 1 ...v 6 ...)都是正交的即对于i≠jvᵢᵀvⱼ 0vᵢ都是单位向量。这听起来像是一个严格的要求但是对于一些矩阵比如对称矩阵我们可以选择特征向量在分解过程中是正交的。以下矩阵是正交的。像对角矩阵一样它的逆也很容易计算 - 正交矩阵的逆是它的转置。这是正交矩阵非常方便的一个关键原因。证明如果我们用正交矩阵乘以x, x中的误差不会被放大。这种行为对于保持数值稳定性是非常理想的。对称矩阵如果矩阵的转置等于自身则矩阵是对称的。例如对称矩阵是线性代数和机器学习中最重要的矩阵之一。在机器学习(ML),我们经常使用矩阵保存f(vᵢ , vⱼ)。这些函数通常是对称的f(x, y) f(y, x)因此对应的矩阵是对称的。例如在机器学习中f可以测量数据点之间的特征距离或者计算特征的协方差。对称矩阵属性对称矩阵S是n×n方形矩阵。它的逆也是对称的。S的所有特征值都是实数(不是复数)。即使重复的特征值我们也可以选择S的 n个本征向量为正交。可以通过将矩阵A与其转置 - AᵀA或AAᵀ(通常AᵀA ≠ AAᵀ)相乘来形成对称矩阵。在机器学习中以零为中心的协方差矩阵就是这种形式。如果 A的列是线性无关的则 AᵀA是可逆的。每个对称矩阵小号可以进行对角化(因式分解)与Q由正交的特征向量形成vᵢ的小号和Λ是对角矩阵保持所有的特征值。每个对称矩阵S可以被对角化(分解)其中Q由S的正交特征向量vi形成Λ是对角矩阵的所有特征值。上面的等式可以改写为其中v是单位向量。因此特征值项λᵢ主导了上述每个项的重要性。事实上如果它太小我们可以完全放弃相应的项λᵢvᵢvᵢᵀ。该分解特性和“ S具有n个正交特征向量”是对称矩阵的两个重要特性。正交特征向量特征向量不是唯一的。但通常我们可以“选择”一组特征向量来满足某些特定条件。如前所述对称矩阵的特征向量可以选择为正交。如果S是对称矩阵则其特征值λ和μ满足以下条件。证明从这种情况来看如果λ和μ具有不同的值则等效性迫使内积为零。因此x和y是正交的并且很容易将它们归一化为具有单位长度 - 正交。这证明了如果它们的相应特征值不同我们可以选择S的特征向量是正交的。即使有重复的特征值对于对称矩阵仍然如此。证明 - 第2部分(可选)对于n×n对称矩阵我们总能找到n个独立的正交特征向量。最大的特征值是为了求最大值我们令r(x)的导数为0。经过一些处理得到即当x是特征向量且特征值最大时r(x)的比值最大。通过归纳我们可以推导出我们可以用正交于前一个的特征向量找到下一个最高的特征值。这只是证明的高级描述。谱定理(Spectral theorem)让我们总结一下。每个n×n对称矩阵S具有n个实特征值λᵢ其中有n个正交特征向量vᵢ。这些特征值可以形成对角矩阵Λ as diag(λ)。我们还可以将特征向量vᵢ连接到V即我们将V重命名为Q.因为Q是正交的所以它是可逆的并且Qᵀ Q-1。因此对称矩阵S可以分解为这是谱定理。因为找到转置比逆转更容易所以在线性代数中非常需要对称矩阵。正定矩阵正定矩阵具有所有正特征值。它是对称的。这听起来很不寻常但现实生活中的许多矩阵都是肯定的。下面的术语计算具有状态x的系统的能量(energy)。如果S是正定的它保证能量保持为正除非x为零。在许多应用中我们假设能量是正的因此相应的S应该是正定的。测试正定性有许多等效条件。如果以下任何测试为真则对称矩阵S为正定的1.所有特征值 02.所有左上角的行列式 03.所有pivots 04.能量(energy) 0除了x 05. S可以由一个列向量无关的矩阵a构成。验证所有特征值是正的需要很多工作。因此条件2或3是更常见的测试。例如正pivots 意味着正特征值(反之亦然)。另一方面如果我们通过上述测试之一证明矩阵是正定的我们保证它拥有上述所有属性。证明在本节中我们将证明上面的一些属性。如果S是正定的则所有λ都是正的。因此相应状态x的计算能量为正(x 0除外)。如果S由AᵀA组成则S在能量测试下为正。除了正定我们还有半正定负定和半负定。半正定用“≥”替换上面的所有“”条件(例如它的特征值是大于或等于0 )负定和半负定与正定和半正定相反。Minimum在微积分中我们将f的一阶导数设置为零以找到其临界点。然而这样的点可以是最大值最小值或鞍点。许多机器学习模型以二次形式xAᵀx表示其成本函数。知道这个函数是否是凸函数是很重要的。因为如果它是凸的我们知道局部最小值也是全局最小值。如果A是正定的则二次函数是凸的。对于任何函数f我们计算下面的Hessian矩阵。如果A是正定的则相应的点是局部最小值。协方差矩阵在机器学习中我们非常有兴趣找到特征之间的相关性。下图显示了重量和高度之间的正相关关系。在机器学习中我们用协方差矩阵Σ建模关系。协方差矩阵是半正定的。
