茂名住房和城乡建设部网站,上海外贸新三样出口超2400亿元,seo外包优化服务商,好看又免费的图片素材网站梯度下降算法
在机器学习中#xff0c;梯度下降算法常用于最小化代价函数#xff08;或损失函数#xff09;#xff0c;以此来优化模型的参数。代价函数衡量的是模型预测值与实际值之间的差异。通过最小化这个函数#xff0c;我们可以找到模型预测最准确的参数。
代价函…梯度下降算法
在机器学习中梯度下降算法常用于最小化代价函数或损失函数以此来优化模型的参数。代价函数衡量的是模型预测值与实际值之间的差异。通过最小化这个函数我们可以找到模型预测最准确的参数。
代价函数
代价函数Cost Function或损失函数Loss Function是用来衡量模型预测值与真实值之间差异的一个函数。在回归问题中一个常见的代价函数是均方误差
其中n是样本数量yi是样本的真实值被减去的则是预测值这个值越小说明预估越接近真实值。
实际案例从简单线性回归理解梯度下降算法
假设我们有一组数据表示房屋的大小与其价格的关系。我们想要构建一个简单的线性回归模型来预测房价模型形式为 ywxb其中 y 是房价x 是房屋大小w 是斜率b 是截距。 第一步要做的是初始化模型参数随机选择w 和 b 的初始值比如 w0 和 b0。计算代价函数的梯度首先我们需要定义代价函数这里我们使用均方误差。然后计算代价函数关于每个参数的梯度。 我们随意给出一组数据 122436 我们的目的是尽量用ywxb去拟合这些数据。w梯度计算公式是
b的则是
w0,b0得出得梯度分别是 -56/3和 -8。 这个线性模型是一条 y0的直线显然无法拟合这些数据.我们此时设置 w0.1b0.1来拟合又得到了两个梯度可能这次的线性模型拟合度会好一些那么再设置w0.2,b0.2会不会又好一点呢我们每次选用w,b都会得到一个预测值然后我们可以算出他的代价函数误差值我们就可以画出这样一张图。
其中我们要找的点就是误差最低的那一个点我们可能会从任何地方出发去找那个点这个过程运用到的就是梯度下降算法
正式介绍
通过上面那个小例子我们已经知道了梯度下降算法常用于最小化代价函数或损失函数以此来优化模型的参数。代价函数衡量的是模型预测值与实际值之间的差异。通过最小化这个函数我们可以找到模型预测最准确的参数。
抽象
我们可以抽象这个过程想象一下你在山顶目标是以最快的速度下到山脚。因为你被蒙上了眼睛看不见周围的环境所以你只能通过感觉脚下的坡度来判断下一步该往哪个方向走。这个“感觉坡度”的过程就有点像梯度下降算法的工作原理。
梯度的含义
“梯度”Gradient其实就是指函数在某一点上的斜率或者说是这一点最陡的上升方向。梯度告诉你如果你想让函数值增加得最快应该往哪个方向走。相应地梯度的反方向就是函数值下降最快的方向。
梯度下降的工作原理
梯度下降算法的核心思想就是在当前位置计算梯度即斜率然后沿着梯度的反方向走一小步重复这个过程直到到达山脚即找到函数的最小值点。
梯度下降–专属案例
假设我们有一个函数 yx^2这个求最小值这个案例不是让你使用高中数学去解答你可以不假思索回答是0但是不是我想要学习的。 让我们以梯度下降的方式求解初始化: 假设我们随机选择一个起点x2。计算梯度: 对f(x) 求导得到它的梯度 f(x)2x。在x2 处的梯度是4。此时我们更新x我们假设我们走一小步0.1那么此时x应该是x x - 学习率 * 梯度 2 - 0.1 * 4 1.6 计算此时的梯度重复这个过程直到x的更新值很小很小无限趋近于0此时实际上x的值(在yx^2中)也无限趋近于0y也趋近于0了。
注意事项
学习率的选择学习率太大可能导致“跨过”最低点甚至发散学习率太小又会导致收敛速度很慢。因此选择一个合适的学习率非常关键。收敛条件通常会设置一个阈值当连续两次迭代的x值变化非常小小于这个阈值时我们就认为算法已经收敛。
结束
我们计算房价假设线性模型求w,b我们使用均方误差MSE作为代价函数来衡量模型预测值与实际值之间的差异我们使用梯度下降模型计算w,b的梯度得到了误差我们通过控制迭代次数和学习率不断的修改w,b以使得误差越来越小误差越来越小即wb的变化非常小或达到一个预设的迭代次数。这就是梯度下降算法。对于不同类型的机器学习问题成本函数的选择也会不同。例如回归问题常用的成本函数是均方误差Mean Squared Error, MSE它计算的是预测值与实际值之间差异的平方的平均值。这个值越小表示模型的预测越准确。分类问题对于二分类问题一个常见的成本函数是交叉熵Cross-Entropy它量化的是实际标签与预测概率之间的差异。 在梯度下降算法中我们的目标是找到模型参数的值这些参数值能使成本函数的值最小化。换句话说我们希望找到的参数能让模型的预测尽可能接近实际情况从而最小化误差。通过迭代地更新模型参数梯度下降算法能够逐步逼近这个最优参数组合实现成本的最小化。
