网站建设专题的意义,中小型企业网络建设,福步外贸人才网,wordpress 赞助插件最速下降法的影子在机器学习中正是无处不在#xff0c;它简单实用。 一、表示 在最速下降法中#xff0c;对权值向量w的连续调整是在最速下降的方向上#xff0c;即它是与梯度向量方向相反的#xff0c;梯度向量记为#xff08;1#xff09;#xff0c;简记#xff08;… 最速下降法的影子在机器学习中正是无处不在它简单实用。 一、表示 在最速下降法中对权值向量w的连续调整是在最速下降的方向上即它是与梯度向量方向相反的梯度向量记为1简记2 其中η是一个正常数称为步长或学习率参数。g(n)是在w(n)处的梯度向量值。在从迭代n到n1的过程中算法应用修正。 二、证明 用w(n)附近的一阶泰勒级数展开来逼近可写成4式 由1式得到5式将5式代入4式得到6式。显然是梯度下降的。 三、优缺点 缺点局部极小值而不是全局优化。只有目标函数是凸函数才是全局优化。 参考文献《神经网络与机器学习》P59 转载于:https://www.cnblogs.com/Wanggcong/p/4701703.html
