软文营销网站,有没有做.net面试题的网站,wordpress改浏览数数据库,国内外网站开发现状1 梯度下降概念
1.1 概念
梯度下降是一种优化算法#xff0c;用于最小化一个函数的值#xff0c;特别是用于训练机器学习模型中的参数#xff0c;其基本思想是通过不断迭代调整参数的值#xff0c;使得函数值沿着梯度的反方向逐渐减小#xff0c;直至达到局部或全局最小…1 梯度下降概念
1.1 概念
梯度下降是一种优化算法用于最小化一个函数的值特别是用于训练机器学习模型中的参数其基本思想是通过不断迭代调整参数的值使得函数值沿着梯度的反方向逐渐减小直至达到局部或全局最小值
1.2 理解
在实际业务中一般多个特征对应一个目标结果值。即对一个多维复杂的方程组的每一维的特征权重进行计算以求出这个方程局部或全局最小值。如果使用正规方程的进计算计算量太大时间及财力消耗巨大。采用梯度下降方法选定一个经验初始值一步步沿着梯度的反方向进行计算使方程解尽快达到收敛并得出最优解。
1.3 分类
批量梯度下降Batch Gradient Descent随机梯度下降Stochastic Gradient Descent小批量梯度下降Mini-batch Gradient Descent
1.4 应用
梯度下降法是机器学习和优化领域中最常用的优化算法之一被广泛应用于训练神经网络、线性回归、逻辑回归等各种机器学习模型中
2 梯度下降公式
2.1 表达公式 θ n 1 θ n − α ∗ g r a d i a n t \theta^{n1} \theta^n - \alpha * gradiant θn1θn−α∗gradiant
其中 α \alpha α表示学习率 g r a d i e n t gradient gradient表示梯度 θ n 1 θ n − α ∗ ∂ J ( θ ) ∂ θ \theta^{n1} \theta^n - \alpha * \frac{\partial J (\theta )}{\partial \theta} θn1θn−α∗∂θ∂J(θ)
另一种写法
2.2 图示 2.3 每一维求解一起找到 J ( θ ) J(\theta) J(θ)最小值 θ 0 n 1 θ 0 n − α ∗ ∂ J ( θ ) ∂ θ 0 \theta_0^{n1} \theta_0^n - \alpha * \frac{\partial J (\theta )}{\partial \theta_0} θ0n1θ0n−α∗∂θ0∂J(θ) θ 1 n 1 θ 1 n − α ∗ ∂ J ( θ ) ∂ θ 1 \theta_1^{n1} \theta_1^n - \alpha * \frac{\partial J (\theta )}{\partial \theta_1} θ1n1θ1n−α∗∂θ1∂J(θ) θ m n 1 θ m n − α ∗ ∂ J ( θ ) ∂ θ m \theta_m^{n1} \theta_m^n - \alpha * \frac{\partial J (\theta )}{\partial \theta_m} θmn1θmn−α∗∂θm∂J(θ) … 3 梯度下降学习率
3.1 概念
梯度下降算法中的学习率learning rate 是一个非常重要的超参数它控制了每次参数更新的步长大小。学习率决定了在梯度下降过程中参数更新的速度和稳定性
3.2 理解
为得到局部或全局最小函数值特征权重按梯度反方向逐渐减小这个减去的值就叫作学习率或步长
3.3 调整策略 固定学习率: 将学习率设置为一个固定的常数例如0.01或0.001。这是最简单的学习率调整策略但可能不够灵活无法适应不同问题和数据的特性。 学习率衰减Learning Rate Decay: 在训练过程中逐渐减小学习率以使模型在接近最优解时更加稳定。常见的衰减策略包括指数衰减、分段衰减等。 自适应学习率Adaptive Learning Rate: 根据参数更新的情况动态地调整学习率。例如AdaGrad、RMSProp、Adam等优化算法会根据梯度的历史信息来自适应地调整学习率以更有效地更新参数。 学习率搜索Learning Rate Search: 在训练过程中动态地搜索最优的学习率。例如可以使用学习率范围测试Learning Rate Range Test等方法来估计合适的学习率范围。
3.4 应用 学习率设置得太小参数更新的步长就会很小导致收敛速度缓慢需要更多的迭代次数才能收敛到最优解或者在达到最优解之前就提前停止。 学习率设置得太大参数更新的步长就会很大可能导致算法无法收敛甚至发生震荡或发散。 使用 η \eta η 表示学习率下图3种学习率情况
3.5 设置学习率
学习率的是一个经验把它设置成一个比较小的正整数0.1、0.01、0.001、0.0001just make
4 梯度下降实验步骤
随机设置最优解 θ \theta θ 随机生成一组数值 w 0 、 w 1 、 w 2 、 w n w_0、w_1、w_2、w_n w0、w1、w2、wn, 期望 为 0 方差 为 1 的正太分布数据。 、求梯度 g 梯度代表曲线某点上的切线的斜率沿着切线往下就相当于沿着坡度最陡峭的方向下降if g 0, 变大if g 0, 变小判断是否收敛 convergence如果收敛跳出迭代如果没有达到收敛回第 3 步继续迭代3~4步
收敛的判断标准是 随着迭代进行损失函数Loss变化非常微小甚至不再改变即认为达到收敛
