python flask做网站,广东百度推广的代理商,dedecms旅游网站模板,辽宁网站定制企业梯度下降法
最优化问题是求解函数极值的问题#xff0c;包括极大值和极小值。相信所有的读者对这个问题都不陌生#xff0c;在初中时我们就学会了求解二次函数的极值#xff08;抛物线的顶点#xff09;#xff0c;高中时学习了幂函数#xff0c;指数函数#xff0c;对…梯度下降法
最优化问题是求解函数极值的问题包括极大值和极小值。相信所有的读者对这个问题都不陌生在初中时我们就学会了求解二次函数的极值抛物线的顶点高中时学习了幂函数指数函数对数函数三角函数反三角函数等各种类型的函数求函数极值的题更是频频出现。这些方法都采用了各种各样的技巧没有一个统一的方案。
真正的飞跃发生在大学时微积分为我们求函数的极值提供了一个统一的思路找函数的导数等于0的点因为在极值点处导数必定为0。这样只要函数的可导的我们就可以用这个万能的方法解决问题幸运的是在实际应用中我们遇到的函数基本上都是可导的。
在机器学习之类的实际应用中我们一般将最优化问题统一表述为求解函数的极小值问题即 其中x称为优化变量f称为目标函数。极大值问题可以转换成极小值问题来求解只需要将目标函数加上负号即可 有些时候会对优化变量x有约束包括等式约束和不等式约束它们定义了优化变量的可行域即满足约束条件的点构成的集合。在这里我们先不考虑带约束条件的问题。
一个优化问题的全局极小值X∗X^*X∗是指对于可行域里所有的x有 即全局极小值点处的函数值不大于任意一点处的函数值。局部极小值X∗X^*X∗定义为存在一个δ\deltaδ邻域对于在邻域内 并且在可行域内的所有x有 即局部极小值点处的函数值比一个局部返回内所有点的函数值都小。在这里我们的目标是找到全局极小值。不幸的是有些函数可能有多个局部极小值点因此即使找到了导数等于0的所有点还需要比较这些点处的函数值。
导数与梯度
由于实际应用中一般都是多元函数因此我们跳过一元函数直接介绍多元函数的情况。梯度是导数对多元函数的推广它是多元函数对各个自变量偏导数形成的向量。多元函数的梯度定义为
「正定矩阵」和「半正定矩阵」
1 基本的定义
正定和半正定这两个词的英文分别是positive definite和positive semi-definite其中definite是一个形容词表示“明确的、确定的”等意思。 初学线性代数的读者可能会被这两个词“唬住”但正定矩阵和半正定矩阵的定义实际上是很简单的 (不考虑复数构成的矩阵) 【定义1】给定一个大小为n×nn\times nn×n的实对称矩阵AAA 若对于任意长度为nnn的非零向量xxx有xTAx0x^TAx0xTAx0恒成立则矩阵AAA是一个正定矩阵。 【定义2】给定一个大小为 [公式] 的实对称矩阵n×nn\times nn×n若对于任意长度为AAA 的向量xxx有 [公式] 恒成立则矩阵xTAx≥0x^TAx \geq 0xTAx≥0是一个半正定矩阵。 根据正定矩阵和半正定矩阵的定义我们也会发现半正定矩阵包括了正定矩阵与非负实数 (non-negative real number)和正实数 (positive real number)之间的关系很像。
从二次函数到正定/半正定矩阵
正定矩阵和半正定矩阵的直观解释 为什么协方差矩阵要是半正定的 最速下降法
1 解决的问题
最速梯度下降法解决的问题是无约束优化问题而所谓的无约束优化问题就是对目标函数的求解没有任何的约束限制的优化问题比如求下方最小值minf(x)minf(x)minf(x) 其中的函数f:Rn→Rf: R^n\to Rf:Rn→R. 求解这类的问题可以分为两大类一个是最优条件法和迭代法。 最优条件法是是指当函数存在解析形式能够通过最优性条件求解出显式最优解。对于无约束最优化问题如果f(x)在最优点x附近可微那么x是局部极小点的必要条件为 [公式] 我们常常就是通过这个必要条件去求取可能的极小值点再验证这些点是否真的是极小值点。当上式方程可以求解的时候无约束最优化问题基本就解决了。 实际中这个方程往往难以求解。这就引出了第二大类方法迭代法。
2 最速梯度下降法 3 最速梯度下降法直观理解
第一步
迭代法的初始点选择。
第二步 第三步
这步在是在选取迭代方向也就是从当前点迭代的方向。这里选取当前点的梯度负方向为什么选择这个方向是因为梯度的负方向是局部下降最快的方向这里不详细证明可以参考我以前的一个回答为什么梯度反方向是函数值局部下降最快的方向https://zhuanlan.zhihu.com/p/24913912
第四步 第四步也是非常重要的因为在第三步我们虽然确定了迭代方向并且知道这个方向是局部函数值下降最快的方向但是还没有确定走的步长如果选取的步长不合适也是非常不可取的下面会给出一个例子图那么第四步的作用就是在确定迭代方向的前提上确定在该方向上使得函数值最小的迭代步长。 下面给出迭代步长过大过小都不好的例子图 从上图可以看出选择一个合适的步长是非常最重要的这直接决定我们的收敛速度。
四 最速梯度下降法实例 五 最速下降法的缺点
需要指出的是某点的负梯度方向通常只是在该点附近才具有这种最速下降的性质。 在一般情况下当用最速下降法寻找极小点时其搜索路径呈直角锯齿状如下图在开头 几步目标函数下降较快但在接近极小点时收敛速度长久不理想了。特别适当目标函数的等值 线为比较扁平的椭圆时收敛就更慢了。
因此在实用中常用最速下降法和其他方法联合应用在前期使用最速下降法而在接近极小值点时可改用收敛较快的其他方法。
六 最速下降法与梯度下降法的区别
准确来说它们并不是完全等价。 对于梯度下降法我们需要预先设定步长α。 https://zhuanlan.zhihu.com/p/32709034
