最火的做网站源码语言,南山网站建设哪家效益快,国际网站怎么样做,深圳同心同盟设计优化算法
优化算法就是一种调整模型参数更新的策略#xff0c;在深度学习和机器学习中#xff0c;我们常常通过修改参数使得损失函数最小化或最大化。
优化算法介绍
1、梯度下降算法#xff08;batch gradient descent BGD#xff09;
每次迭代都需要把所有样本都送入在深度学习和机器学习中我们常常通过修改参数使得损失函数最小化或最大化。
优化算法介绍
1、梯度下降算法batch gradient descent BGD
每次迭代都需要把所有样本都送入这样的好处是每次迭代都顾及了全部的样本做的是全局最优化,但是有可能达到局部最优。 梯度下降全局最优 2、随机梯度下降法 (Stochastic gradient descent SGD)
针对梯度下降算法训练速度过慢的缺点提出了随机梯度下降算法随机梯度下降算法算法是从样本中随机抽出一组训练后按梯度更新一次然后再抽取一组再更新一次在样本量及其大的情况下可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。 随机梯度下降随机地从样本中抽取一个样本进行梯度的更新 3、小批量梯度下降 (Mini-batch gradient descent MBGD
SGD随机梯度下降法相对来说要快很多但是也有存在问题由于单个样本的训练可能会带来很多噪声使得SGD并不是每次迭代都向着整体最优化方向因此在刚开始训练时可能收敛得很快但是训练一段时间后就会变得很慢。在此基础上又提出了小批量梯度下降法它是每次从样本中随机抽取一小批进行训练而不是一组这样即保证了效果又保证的速度。 小批量梯度下降找一批数据计算梯度使用均值更新参数 4、动量法
mini-batch SGD算法虽然这种算法能够带来很好的训练速度但是在到达最优点的时候并不能够总是真正到达最优点而是在最优点附近徘徊。
另一个缺点就是mini-batch SGD需要我们挑选一个合适的学习率当我们采用小的学习率的时候会导致网络在训练的时候收敛太慢当我们采用大的学习率的时候会导致在训练过程中优化的幅度跳过函数的范围也就是可能跳过最优点。我们所希望的仅仅是网络在优化的时候网络的损失函数有一个很好的收敛速度同时又不至于摆动幅度太大。
所以Momentum优化器刚好可以解决我们所面临的问题它主要是基于梯度的移动指数加权平均对网络的梯度进行平滑处理的让梯度的摆动幅度变得更小。 动量法对梯度进行平滑防止振幅过大 5、 AdaGrad
AdaGrad算法就是将每一个参数的每一次迭代的梯度取平方累加后在开方用全局学习率除以这个数作为学习率的动态更新从而达到自适应学习率的效果 AdaGrad:自适应学习率 6、RMSProp
Momentum优化算法中虽然初步解决了优化中摆动幅度大的问题,为了进一步优化损失函数在更新中存在摆动幅度过大的问题并且进一步加快函数的收敛速度RMSProp算法对参数的梯度使用了平方加权平均数。 PMSProp:对学习率进行加权 7、Adam
AdamAdaptive Moment Estimation算法是将Momentum算法和RMSProp算法结合起来使用的一种算法,能够达到防止梯度的摆幅多大同时还能够加开收敛速度 Adam:动量法PMSProp学习率能够自适应梯度的振幅不会太大
