做网站首页尺寸大小,建立一个做笔记的网站,福建示范校建设专题网站,石家庄网站建设汉狮怎么样作者#xff1a;Alvira Swalin编译#xff1a;ronghuaiyang导读对不同的应用场景#xff0c;需要不同的模型#xff0c;对于不同的模型#xff0c;需要不同的度量评估方式。本系列的第一部分主要关注回归的度量在后现代主义的世界里#xff0c;相对主义的各种形式一直是最…作者Alvira Swalin编译ronghuaiyang导读对不同的应用场景需要不同的模型对于不同的模型需要不同的度量评估方式。本系列的第一部分主要关注回归的度量在后现代主义的世界里相对主义的各种形式一直是最受欢迎和最受唾弃的哲学理论之一。根据相对主义不存在普遍客观的真理相反每个观点都有自己的道理。你一定想知道我为什么要讨论它以及它是如何与数据科学相关的。在这篇文章中我将讨论每个误差度量的有用性这取决于目标和我们试图解决的问题。当有人告诉你“美国是最好的国家”时你应该问的第一个问题是这个说法是基于什么。我们是否根据每个国家的经济状况或卫生设施等来评价它们类似地每个机器学习模型都试图使用不同的数据集来解决具有不同目标的问题因此在选择度量标准之前了解上下文非常重要。最有用的度量在第一篇文章中我们将只讨论回归中的度量指标。回归的度量大多数博客关注的是分类指标如精确度、召回率、AUC等。作为一个改变我想探索所有类型的指标包括那些在回归中使用的。MAE和RMSE是连续变量最常用的两个度量标准。让我们从更流行的开始。RMSE (均方根误差)它表示预测值与观测值之差的样本标准差(称为残差)。数学上它是用这个公式计算的MAEMAE是预测值与观测值之间的绝对差的平均值。MAE是一个线性的分数这意味着所有的个体差异在平均值中被平均加权。例如10和0之间的差是5和0之间差的两倍。然而RMSE的情况并非如此我们将进一步详细讨论。数学上它是用这个公式计算的你应用哪个呢为什么很容易理解和解释MAE因为它直接取偏移量的平均值而RMSE比MAE更能惩罚高的差值。让我们通过两个例子来理解上面的陈述案例1实际值[2,4,6,8]预测值 [4,6,8,10]案例2实际值[2,4,6,8]预测值 [4,6,8,12]MAE for case 1 2.0, RMSE for case 1 2.0MAE for case 2 2.5, RMSE for case 2 2.65从上面的例子中我们可以看到RMSE比MAE更严重地惩罚了最后一个值预测。一般来说RMSE将高于或等于MAE。它等于MAE的唯一情况是所有的差异都相同或为零(对于第一个情况实际和预测之间的差异是2对于所有的观测值)。然而即使是更加复杂和偏向于更高的偏差RMSE仍然是许多模型的默认度量因为根据RMSE定义的损失函数是平滑可微的并且使其更容易执行数学操作。虽然这听起来不是很令人愉快但这是一个非常重要的原因并使它非常受欢迎。我将试着用数学的方法来解释上面的逻辑。我们取一个简单的线性模型其中一个变量是y mxb在这里我们试图找到“m”和“b”我们得到了(x,y)的数据。如果我们用RMSE定义损失函数(J)那么我们可以很容易地微分J wrt。到m和b得到更新后的m和b(这就是梯度下降的原理我不会在这里解释)上面的方程解起来更简单同样的方法不适用于MAE。然而如果你只想从解释的角度比较两个模型之间的度量那么我认为MAE是一个更好的选择。重要的是要注意RMSE和MAE的单位都与y值相同但对于R平方不成立。RMSE和MAE的范围是从0到无穷。我之前忘记提到的MAE和RMSE之间的一个重要区别是最小化一组数字的平方误差会得到平均值最小化绝对误差会得到中值。这就是为什么MAE对于异常值是健壮的而RMSE不是。这个答案详细解释了这个概念。R Squared (R²) and Adjusted R SquaredR Squared和Adjusted R Squared通常用于解释目的解释你选择的自变量如何很好地解释你的因变量的可变性。这两个指标都被误解了因此在讨论它们的优缺点之前我想先澄清它们。数学上R_Squared由下面的式子给出分子是MSE(残差平方和的平均值)分母是Y值的方差。MSE越高R_squared越小模型越差。Adjusted R²就像R²Adjusted R²也显示了特征项是如何拟合模型的模型是如何通过特征项的数量进行调整的。由下式给出其中n为观测总数k为特征项的数量。Adjusted R²总是小于或等于R²为什么你选择Adjusted R²而不是R²普通R²存在一些问题需要由Adjusted R²解决。Adjusted R²会考虑由模型中的一个额外的项所带来的基于margin的提升。所以如果你增加有用的项它会增加如果你增加没用的预测项它会减少。然而项增加了R²就会增加即使模型实际上并没有改善。通过一个示例更容易理解这一点。在这里情况1是一个简单的例子我们有5个(x,y)的观测值。在case 2中我们还有一个变量它是变量1的2倍(与var1完全相关)在case 3中我们对var2进行了轻微的扰动使得它不再与var1完全相关。因此如果我们对每种情况都使用简单的普通最小二乘(OLS)模型那么从逻辑上讲我们并没有就情况1向情况2和情况3提供任何额外的或有用的信息。所以我们的度量值不应该对这些模型有所改善。然而对于R²并不是这样对于模型2和3R²的值更大。但是你用adjusted R²来处理这个问题实际上对于这两种情况2 3R²的值都变小了。我们给这些变量(x,y)一些数字看看在Python中得到的结果。 import numpy as np import pandas as pd from sklearn import datasets, linear_model def metrics(m,X,y): yhat m.predict(X) print(yhat) SS_Residual sum((y-yhat)**2) SS_Total sum((y-np.mean(y))**2) r_squared 1 - (float(SS_Residual))/SS_Total adj_r_squared 1 - (1-r_squared)*(len(y)-1)/(len(y)-X.shape[1]-1) return r_squared,adj_r_squared data pd.DataFrame({x1: [1,2,3,4,5], x2: [2.1,4,6.1,8,10.1]}) y np.array([2.1, 4, 6.2, 8, 9]) model1 linear_model.LinearRegression() model1.fit( data.drop(x2
