黑链 对网站的影响,做调查的网站,淘宝客网站开发视频教程,无锡网站建设 微信公众号上节末尾谈到牛顿法中隐含的另外一个问题在于hessian矩阵可能不是正定的。因此#xff0c;d(k)−F(x(k))−1g(x(k))\boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})}
可能不会是下降方向。Levenberg-Marquardt修正可以解决这个问… 上节末尾谈到牛顿法中隐含的另外一个问题在于hessian矩阵可能不是正定的。因此d(k)−F(x(k))−1g(x(k))
\boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})}
可能不会是下降方向。Levenberg-Marquardt修正可以解决这个问题保证每次产生的方向是下降方向修正后的迭代公式是
x(k1)x(k)−(F(x(k))μkI)−1g(x(k))\boldsymbol{x}^{(k+1)} =\boldsymbol{x}^{(k)} -(\boldsymbol{F}(\boldsymbol{x}^{(k)})+\mu_k\boldsymbol{I})^{-1}\boldsymbol{g(x^{(k)})} 其中μk≥0\mu_k \ge 0。 下面对此进行说明。F\boldsymbol{F}为对称矩阵并不要求是正定的。F\boldsymbol{F}的特征值为λ1,λ2,…,λn\lambda_1,\lambda_2,\dots, \lambda_n分别对应特征向量v1,v2,…,vn\boldsymbol{v}_1,\boldsymbol{v}_2, \dots, \boldsymbol{v}_n.特征值全部为实数但不要求全部为正数。对F\boldsymbol{F}进行简单的修正得到矩阵GFμI\boldsymbol{G}=\boldsymbol{F}+\mu\boldsymbol{I}其中μ≥0\mu \ge 0。可知矩阵G\boldsymbol{G}的特征值为λ1μ,λ2μ,…,λnμ\lambda_1+\mu,\lambda_2+\mu,\dots, \lambda_n+\mu,且满足 Gvi(FμI)viFviμIviλiviμvi(λiμ)vi\boldsymbol{G}\boldsymbol{v}_i = (\boldsymbol{F}+\mu\boldsymbol{I})\boldsymbol{v}_i \\
=\boldsymbol{F}\boldsymbol{v}_i + \mu\boldsymbol{I}\boldsymbol{v}_i\\
=\lambda_i\boldsymbol{v}_i + \mu\boldsymbol{v}_i\\
=(\lambda_i + \mu)\boldsymbol{v}_i这说明只要μ\mu足够大就可以保证G\boldsymbol{G}的特征值都为正数也就是说G\boldsymbol{G}为正定矩阵。同理如果Levenberg-Marquardt中的μk\mu_k足够大的话总能保证搜索方向d(k)−F(x(k))−1g(x(k))
\boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})}
是一个下降方向。引入一个搜索步长αk\alpha_k,可以得到新的迭代公式: x(k1)x(k)−αk(F(x(k))μkI)−1g(x(k))\boldsymbol{x}^{(k+1)} =\boldsymbol{x}^{(k)} -\alpha_k(\boldsymbol{F}(\boldsymbol{x}^{(k)})+\mu_k\boldsymbol{I})^{-1}\boldsymbol{g(x^{(k)})} 在实际应用中一开始可以选择μk\mu_k较小的值然后缓慢增加直到出现下降特性。
