网站链接跳转怎么做,自己做网站怎么别人怎么浏览,网站seo站外优化,2016企业网站建设方案简单来说#xff0c;在回归问题中#xff0c;最常用的损失函数是均方误差#xff08;MSE, Mean Squared Error#xff09;和平均绝对误差#xff08;MAE, Mean Absolute Error#xff09;。它们衡量的都是模型预测值#xff08;ŷ#xff09;与真实值#xff08;y…简单来说在回归问题中最常用的损失函数是均方误差MSE, Mean Squared Error和平均绝对误差MAE, Mean Absolute Error。它们衡量的都是模型预测值ŷ与真实值y之间的“距离”或“差异”。下面我来详细解释它们的意思、区别和用途。1. 均方误差 (MSE) - L2 Loss是什么意思均方误差是回归问题中最常见、最基础的损失函数。它的计算方法是1.先计算每一个数据点的预测值与真实值的差误差。2.将这个差平方所以叫“均方”。3.将所有数据点的平方误差加起来再求平均。数学公式其中n是样本数量。yi是第 i个样本的真实值。y^i是模型对第 i个样本的预测值。直观理解与特点放大大的误差因为误差被平方了所以如果一个预测误差很大例如误差为10平方后变成100它会比多个小误差例如多个误差为1平方后还是1对总损失的贡献大得多。曲线光滑数学性质很好便于求导它的导数是一个线性函数这使得在梯度下降等优化算法中非常高效。对异常值敏感这是它的一个主要缺点。如果数据中存在少数偏离很大的异常值MSE会变得非常大模型会为了拟合这些异常值而牺牲对整体数据的拟合效果。用途广泛应用于各种回归问题是很多模型的默认损失函数。
2. 平均绝对误差 (MAE) - L1 Loss是什么意思平均绝对误差的计算方法是1.计算每一个数据点的预测值与真实值的差的绝对值。2.将所有绝对误差加起来再求平均。数学公式直观理解与特点线性惩罚误差无论误差是1还是10它对总损失的贡献就是1和10是线性的关系。不会特别放大大的误差。对异常值更鲁棒正因为它是线性惩罚所以个别异常值不会像在MSE中那样对损失产生巨大的影响模型不会轻易被异常值“带偏”。曲线不光滑在零点处不可导导数突然从-1变为1这在优化时可能不如ME高效但在实际中可以通过次梯度等方法解决。用途当你认为数据中含有异常值并且不希望模型过度关注这些异常点时MAE是一个很好的选择。
对比与总结特性均方误差 (MSE)平均绝对误差 (MAE)计算方式误差的平方的平均误差的绝对值的平均对异常值敏感不敏感更鲁棒梯度性质光滑易于优化在零点不可导优化稍复杂解读惩罚大的误差非常严厉对所有误差一视同仁
另一个重要的损失函数Huber Loss你可能会问有没有一个损失函数能结合MSE和MAE的优点呢答案是有的这就是 Huber Loss。Huber Loss 是一个混合损失函数。它在一个阈值 δdelta范围内它的行为像MSE曲线光滑易于优化当误差超过这个阈值时它的行为像MAE对大的异常值更鲁棒。特点best of both worlds兼具MSE的优化友好和MAE的异常值鲁棒性。需要超参数你需要手动设置一个阈值 δ。用途当数据中明显存在异常值但你又不愿意完全使用MAE时Huber Loss是一个非常出色的折中方案。总结分类问题的核心是预测概率分布所以用交叉熵来衡量两个分布之间的差异。回归问题的核心是预测一个连续值所以用基于距离的损失函数如MSE, MAE来衡量预测值与真实值的差距。MSE是最常用的数学性质好但对异常值敏感。MAE对异常值不敏感但优化起来稍麻烦。Huber Loss是一个聪明的结合体在很多情况下能提供更好的性能。选择哪个损失函数取决于你的数据、模型和你最关心什么。通常可以从MSE开始如果发现模型效果受异常值影响很大再尝试MAE或Huber Loss。
