seo 网站文章一般要多少字,wordpress禁止留言,加氢站个公司好,网络工程师招聘准确率、精确率、召回率、F1值
定义#xff1a;
1、准确率#xff08;Accuracy#xff09;
准确率是指分类正确的样本占总样本个数的比例。准确率是针对所有样本的统计量。它被定义为#xff1a; 准确率能够清晰的判断我们模型的表现#xff0c;但有一个严重的缺陷
1、准确率Accuracy
准确率是指分类正确的样本占总样本个数的比例。准确率是针对所有样本的统计量。它被定义为 准确率能够清晰的判断我们模型的表现但有一个严重的缺陷 在正负样本不均衡的情况下占比大的类别往往会成为影响 Accuracy 的最主要因素此时的 Accuracy 并不能很好的反映模型的整体情况。
例如一个测试集有正样本99个负样本1个。模型把所有的样本都预测为正样本那么模型的Accuracy为99%看评价指标模型的效果很好但实际上模型没有任何预测能力。 2、精确率Precision
精确率又称为查准率是针对预测结果而言的一个评价指标。指在分类正确的正样本个数占分类器判定为正样本的样本个数的比例。精确率是对部分样本的统计量侧重对分类器判定为正类的数据的统计。它被定义为 3、召回率Recall
召回率是指分类正确的正样本个数占真正的正样本个数的比例。召回率也是对部分样本的统计量侧重对真实的正类样本的统计。它被定义为 Precision 与 Recall 的权衡 精确率高意味着分类器要尽量在 “更有把握” 的情况下才将样本预测为正样本 这意味着精确率能够很好的体现模型对于负样本的区分能力精确率越高则模型对负样本区分能力越强。
召回率高意味着分类器尽可能将有可能为正样本的样本预测为正样本这意味着召回率能够很好的体现模型对于正样本的区分能力召回率越高则模型对正样本的区分能力越强。
从上面的分析可以看出精确率与召回率是此消彼长的关系 如果分类器只把可能性大的样本预测为正样本那么会漏掉很多可能性相对不大但依旧满足的正样本从而导致召回率降低。
那么当不同模型的Recall和Precision各有优势时该如何选择模型此时可以通过F1 Score来比较。 4、F1分数F1 Score
F1 Score是精准率和召回率的调和平均值它同时兼顾了分类模型的准确率和召回率是统计学中用来衡量二分类或多任务二分类模型精确度的一种指标。它的最大值是1最小值是0值越大意味着模型越好。 它定义为 优缺点
准确率、精确率、召回率、F1 值主要用于分类场景。
准确率可以理解为预测正确的概率其缺陷在于当正负样本比例非常不均衡时占比大的类别会影响准确率。如异常点检测时99% 的都是非异常点那我们把所有样本都视为非异常点准确率就会非常高了。
精确率查准率可以理解为预测出的东西有多少是用户感兴趣的
召回率查全率可以理解为用户感兴趣的东西有多少被预测出来了。
一般来说精确率和召回率是一对矛盾的度量。为了更好的表征学习器在精确率和召回率的性能度量引入 F1 值。 5. ROC曲线和评价指标AUC
ROC接受者操作特性曲线receiver operating characteristic curve简称ROC曲线是指在特定刺激条件下以被试在不同判断标准下所得的虚报概率Py/N为横坐标以击中概率Py/SN为纵坐标画得的各点的连线。
所以需要计算两个值1、虚报概率 FPR 2、击中概率 TPR
首先利用混淆矩阵计算ROC
假阳性率False Positive Rate, FPR虚报概率 横坐标N是真实负样本的个数FP是N个负样本中被分类器预测为正样本的个数。 FPRFP/(FPTN)
真阳性率True Positive Rate, TPR击中概率纵坐标 TPRTP / (TPFN) ROC曲线特性当测试集中的正负样本分布发生变化了ROC曲线可以保持不变。在实际的数据集中经常会出现类不平衡class imbalance现象即负样本比正样本多很多或者相反而且测试数据中的正负样本的分布也可能随着时间变化。
为什么ROC不受样本不平衡的影响呢
TPR考虑的都是正例既分母TPFN是真实正例的数目FPR考虑的都是负例分母FPTN是真实负例的数目。
想一下ROC曲线绘画过程可以看成以预测为正例的概率进行排序然后概率由大到小依次把样本预测为正例每次把一个样本当成正例ROC曲线上就多了一个点TPR,FPR。这个过程也可以看成一个由大到小的阈值去筛选概率高的样本作为正例预测值。
如果负例增加到10倍可以假设增加的负样本与原有的负样本保持独立同分布。
TPR在学习器和上述阈值不变的情况下我们看一下负例增加前后TPR会不会变化。首先分母不会变。再考虑分子因为阈值和学习器也不变那么对于真实的正例来说预测结果不变则TPR不变。
FPR对于FPR来说分母变为10*FPTN给定学习器和阈值因为假设增加的数据与原数据独立同分布那么大于这个阈值的负样本label为负也会变为原来的10倍即10*FP。所以FPR也不变。
上述的讨论是对于ROC中的一个点讨论的再让阈值动起来的话那么可以得到ROC上每个点都不变。当然这是理想情况实际上由于数据噪声等影响曲线肯定会有轻微扰动但整体不会有较大的变化。 6、马修斯相关系数 MCCMatthews correlation coefficient
MCC 主要用于衡量二分类问题其综合考虑了 TP, TN, FP, FN 是一个比较均衡的指标 对于样本不均衡情况下也可以使用。由precision、recall、F1的计算公式可以看出这三个指标完全与TN无关只关心正类而忽略负类的表现。而当类别不平衡时ACC的评估指标无法关注到少数类。
MCC的取值范围在 [-1, 1] 取值为1 表示预测与实际完全一致 取值为0表示预测的结果还不如随机预测的结果 -1 表示预测结果与实际的结果完全不一致。
因此我们看到 MCC 本质上描述了预测结果与实际结果之间的相关系数。
马修斯相关系数公式为
