英文电商网站建设,做移动类网站的书推荐,部门网站建设的目的和意义,本地网站404错误编辑#xff1a;陈萍损失函数是机器学习里最基础也是最为关键的一个要素#xff0c;其用来评价模型的预测值和真实值不一样的程度。最为常见的损失函数包括平方损失、指数损失、log 对数损失等损失函数。这里回顾了一种新的损失函数#xff0c;通过引入鲁棒性作为连续参数陈萍损失函数是机器学习里最基础也是最为关键的一个要素其用来评价模型的预测值和真实值不一样的程度。最为常见的损失函数包括平方损失、指数损失、log 对数损失等损失函数。这里回顾了一种新的损失函数通过引入鲁棒性作为连续参数该损失函数可以使围绕最小化损失的算法得以推广其中损失的鲁棒性在训练过程中自动自我适应从而提高了基于学习任务的性能。这篇文章对 CVPR 2019 的一篇论文《A General and Adaptive Robust Loss Function》进行了回顾性综述主要讲述了为机器学习问题开发鲁棒以及自适应的损失函数。论文作者为谷歌研究院的研究科学家 Jon Barron。论文地址https://arxiv.org/pdf/1701.03077.pdf异常值(Outlier)与鲁棒损失考虑到机器学习问题中最常用的误差之一——均方误差(Mean Squared Error, MSE)其形式为(y-x)²。该损失函数的主要特征之一是与小误差相比对大误差的敏感性较高。并且使用 MSE 训练出的模型将偏向于减少最大误差。例如3 个单位的单一误差与 1 个单位的 9 个误差同等重要。下图为使用 Scikit-Learn 创建的示例演示了在有 / 无异常值影响的情况下拟合是如何在一个简单数据集中变化的。MSE 以及异常值的影响。如上图所示包含异常值的拟合线(fit line)受到异常值的较大影响但是优化问题应要求模型受内点(inlier)的影响更大。在这一点上你可能认为平均绝对误差(Mean Absolute Error, MAE)会优于 MSE因为 MAE 对大误差的敏感性较低。也不尽然。目前有各种类型的鲁棒损失(如 MAE)对于特定问题可能需要测试各种损失。所以这篇论文引入一个泛化的损失函数其鲁棒性可以改变并且可以在训练网络的同时训练这个超参数以提升网络性能。与网格搜索(grid-search)交叉验证寻找最优损失函数相比这种损失函数花费的时间更少。让我们从下面的几个定义开始讲解鲁棒性与自适应损失函数的一般形式公式 1鲁棒性损失其中α为超参数用来控制鲁棒性。α控制损失函数的鲁棒性。c 可以看作是一个尺度参数在 x0 邻域控制弯曲的尺度。由于α作为超参数我们可以看到对于不同的α值损失函数有着相似的形式。公式 2不同α值对应不同的自适应性损失。在α0 和α2 时损失函数是未定义的但利用极限可以实现近似。从α2 到α1损失函数平稳地从 L2 损失过渡到 L1 损失。对于不同的α值我们可以绘制不同的损失函数如下图 2 所示。导数对于优化损失函数非常重要。下面研究一下这个损失函数的一阶导数我们知道梯度优化涉及到导数。对于不同的α值x 的导数如下所示。下图 2 还绘制了不同α的导数和损失函数。公式 3鲁棒损失(表达式 1)对于不同的α的值相对于 x 的导数自适应损失及其导数下图对于理解此损失函数及其导数非常重要。在下图 2 中尺度参数 c 固定为 1.1。当 x 6.6 时可以将其视为 x 6×c。可以得出以下有关损失及其导数的推论1. 当 x、α和 c0 时损失函数是光滑的因此适合于基于梯度的优化2. 损失函数总是在原点为零并且在 | x |0 时单调增加。损失的单调性也可以与损失的对数进行比较3. 损失也随着α的增加而单调增加。此属性对于损失函数的鲁棒性很重要因为可以从较高的α值开始然后在优化过程中逐渐减小(平滑)以实现鲁棒的估计从而避免局部最小值4. 当 | x |5. 对于α 2导数始终与残差的大小成正比。通常这是 MSE(L2)损失的特性6. 对于α1(L1 损失)我们看到导数的幅度在 | x |c 之外饱和至一个常数值(正好是 1/c)。这意味着残差的影响永远不会超过一个固定的量7. 对于αc 而减小。这意味着当残差增加时它对梯度的影响较小因此异常值在梯度下降过程中的影响较小。图 2损失函数及其导数与α的关系。图 3自适应损失函数(左)及其导数(右)的曲面图。鲁棒损失的实现Pytorch 和 Google Colab关于鲁棒损失的理论掌握了怎么实现呢使用的代码在 Jon Barron 的 GitHub 项目「robust_loss_pytorch」中稍加修改。此外还创建了一个动画来描述随着迭代次数的增加自适应损失如何找到最佳拟合线。GitHub 地址https://github.com/jonbarron/arom_loss_pytorch不需要克隆存储库我们可以使用 Colab 中的 pip 在本地安装它。此外还创建了一个简单的线性数据集包括正态分布的噪声和异常值。首先由于使用了 Pythorch 库利用 torch 将 x, y 的 numpy 数组转换为张量。其次使用 pytorch 模块定义线性回归类如下所示接下来用线性回归模型拟合自创建的线性数据集首先使用损失函数的一般形式。这里使用一个固定值α(α2.0)它在整个优化过程中保持不变。正如在α2.0 时看到的损失函数等效 L2 损失这对于包括异常值在内的问题不是最优的。对于优化使用学习率为 0.01 的 Adam 优化器。利用鲁棒损失函数的一般形式和固定α值可以得到拟合线。原始数据、真直线(生成数据点时使用的具有相同斜率和偏差的线排除异常值)和拟合线如下图 4 所示图 4一般损失函数损失函数的一般形式不允许α发生变化因此必须手动微调α参数或执行网格搜索进行微调。此外正如上图所示由于使用了 L2 损失拟合受到异常值的影响。这是一般的情况但如果使用损失函数的自适应版本会发生什么呢调用自适应损失模块并初始化α让α在每个迭代步骤中自适应。此外还有一些额外的代码使用 celluloid 模块见下图 5。在这里可以清楚地看到随着迭代次数的增加自适应损失如何找到最佳拟合线。这个结果接近真实的线对于异常值的影响可以忽略不计。图 5自适应损失函数如何达到最佳拟合的动画。
