高清视频素材下载网站,seo优化团队,展会广告策划公司,网站备案 收费前言
最近读一个代码发现用了一个梯度更新方法, 刚开始还以为是什么奇奇怪怪的梯度下降法, 最后分析一下是用一阶梯度及其二次幂做的梯度更新。网上搜了一下, 果然就是称为Adam的梯度更新算法, 全称是:自适应矩估计(adaptive moment estimation)
国际惯例, 参考博文:
一文看…前言
最近读一个代码发现用了一个梯度更新方法, 刚开始还以为是什么奇奇怪怪的梯度下降法, 最后分析一下是用一阶梯度及其二次幂做的梯度更新。网上搜了一下, 果然就是称为Adam的梯度更新算法, 全称是:自适应矩估计(adaptive moment estimation)
国际惯例, 参考博文:
一文看懂各种神经网络优化算法从梯度下降到Adam方法
Adam一种随机优化方法
An overview of gradient descent optimization algorithms
梯度下降优化算法综述
Hinton的神经网络课程第六课
理论
由于参考博客介绍的很清晰, 我就直接撸公式了:
假设tt时刻, 目标函数对于参数的一阶导数是gtg_t,那么我们可以先计算
mtvtβ1mt−1(1−β1)gtβ2vt−1(1−β2)g2t\begin{aligned}
m_tmt1−βt1vt^vt1−βt2\hat{m_t}=\frac{m_t}{1-\beta_1^t}\\
\hat{v_t}=\frac{v_t}{1-\beta_2^t}最后我们的梯度更新方法就是 θt1θt−η⋅mt^vt^−−√ϵ\theta_{t+1}=\theta_t-\eta\cdot\frac{\hat{m_t}}{\sqrt{\hat{v_t}}+\epsilon}注意几个量, η\eta是学习步长, 剩下的三个参数取值的建议是β10.9,β20.999,ϵ10−8\beta_1=0.9,\beta_2=0.999,\epsilon=10^{-8}, 分母中的ϵ\epsilon是为了防止除零. 其实这个步长的话,一般来说是建议选η0.001\eta=0.001之类的, 注意βt1,βt2\beta_1^t,\beta_2^t中的tt是参与指数运算的 其实再看一下公式,其实就是当前时刻的梯度更新利用了上一时刻的平方梯度vtv_t的指数衰减均值vt^\hat{v_t}和上一时刻的梯度mtm_t的指数衰减均值mt^\hat{m_t}代码实现
以下非一个神经网络的完整实现, 主要在于看看定义网络参数以后怎么去使用Adam去更新每一时刻的梯度, 在theano中的实现方法如下:
先看看神经网络的参数
self.layers [self.W0, self.W1, self.W2,self.b0, self.b1, self.b2]self.params sum([layer.params for layer in self.layers], [])
然后初始化一开始时候的mt,vtm_t,v_t,分别对应代码中的m0params,m1paramsm0params,m1params
self.params network.params
self.m0params [theano.shared(np.zeros(p.shape.eval(), dtypetheano.config.floatX), borrowTrue) for p in self.params]
self.m1params [theano.shared(np.zeros(p.shape.eval(), dtypetheano.config.floatX), borrowTrue) for p in self.params]
self.t theano.shared(np.array([1], dtypetheano.config.floatX))
定义目标函数损失函数正则项: cost self.cost(network, input, output) network.cost(input)
计算当前梯度
gparams T.grad(cost, self.params)
计算m0params,m1paramsm0params,m1params
m0params [self.beta1 * m0p (1-self.beta1) * gp for m0p, gp in zip(self.m0params, gparams)]m1params [self.beta2 * m1p (1-self.beta2) * (gp*gp) for m1p, gp in zip(self.m1params, gparams)]
使用Adam梯度更新
params [p - self.alpha * ((m0p/(1-(self.beta1**self.t[0]))) /(T.sqrt(m1p/(1-(self.beta2**self.t[0]))) self.eps))for p, m0p, m1p in zip(self.params, m0params, m1params)]
然后更新下一时刻网络中的梯度值,m0paramsm0params,m1paramsm1params,tscript typemath/tex idMathJax-Element-20t/script
updates ([( p, pn) for p, pn in zip(self.params, params)] [(m0, m0n) for m0, m0n in zip(self.m0params, m0params)] [(m1, m1n) for m1, m1n in zip(self.m1params, m1params)] [(self.t, self.t1)])
