建设工程招标公告在哪个网站,饲料网站源码,wordpress显示网站运行,柳河县建设局网站文章目录1 准确率Mean average precision1.1 定义1.2 计算2 NDCG(Normalized Discounted Cumulative Gain)2.1定义2.2 例子1 准确率Mean average precision
1.1 定义
Precision at position k (Pk)是一个衡量排名前k位的方法#xff0c;使用两个级别(相关的和不相关)的相关性…
文章目录1 准确率Mean average precision1.1 定义1.2 计算2 NDCG(Normalized Discounted Cumulative Gain)2.1定义2.2 例子1 准确率Mean average precision
1.1 定义
Precision at position k (Pk)是一个衡量排名前k位的方法使用两个级别(相关的和不相关)的相关性判断。公式 Pk1k∑j1krjPk\dfrac{1}{k}\sum^{k}_{j1}r^jPkk1∑j1krj k是一个截断位置 rj1r_j1rj1,如果第j个位置的文档是相关的。 rj0r_j0rj0,否则。
平均准确率 average precision
AP1∣D∣∑j1NrjPjAP \dfrac{1}{|D_|}\sum^{N}_{j1}r_j PjAP∣D∣1∑j1NrjPj
∣D∣|D_|∣D∣是关于查询的相关文档的数量也可以认为相当于相当查询的标准答案的相关文档数量。 j是排序后的文档结果。 一般来说会有很多个query参与到训练集中。所以要取平均值 Mean average precision。 这个评价指标是基于二维的相关、不相关。
1.2 计算
举个例子现有一个query与之相关的文档有4——D1,D2,D3,D4用rank方法检索后D2,D3,D4的排序分别是135D1没有搜索到。也就是说rank后的结果:D2,D5,D3,D6,D4。D5D6是不相关文档。 那么AP 14\dfrac{1}{4}41(P1P3P5) P1111P1\dfrac{1}{1}1P1111
P323P3\dfrac{2}{3}P332,k3,从1到3相关文档有2个。
P535P5\dfrac{3}{5}P553,k5,从1到5相关文档有3个。
那么AP 1/1 2/3 3/5/ 40.57
2 NDCG(Normalized Discounted Cumulative Gain)
2.1定义
NDCG(Normalized Discounted Cumulative Gain) 归一化折损累计增益。
NDCGkDCGkIDCGkNDCGk\dfrac{DCGk}{IDCGk}NDCGkIDCGkDCGk
DCGK∑j1kg(rj)d(j)DCGK\sum^k_{j1}g(r_j)d(j)DCGK∑j1kg(rj)d(j), g(rj)2rj−1g(r_j)2^{r_j}-1g(rj)2rj−1, d(j)1,2d(j)1,2d(j)1,2,j1,2 d(j)1log2(j)d(j)\dfrac{1}{log_2(j)}d(j)log2(j)1,其他情况 也有一种写法是DCGK∑j1k2rj−1log2(j1)DCGK\sum^k_{j1}\dfrac{2^{r_j}-1}{log_2(j1)}DCGK∑j1klog2(j1)2rj−1
这个计算公式可以针对多种分类级别。例如rj3,2,1,0r_j3,2,1,0rj3,2,1,0。而且是包含了位置影响因素。相关性高的排在前面会使得整体NDCG分值变大。
IDCGk为理想情况下最大的DCG值 IDCGk∑j1k2ideali−1log2(j1)IDCGk\sum^{k}_{j1}\dfrac{2^{ideal_i}-1}{log_2(j1)}IDCGk∑j1klog2(j1)2ideali−1
2.2 例子
假设对于某一个query本次搜索召回5个文档其关联分数分别为 3、2、3、0、1、2。
j2rj−12^{r_j}-12rj−1log2(j1)log_2(j1)log2(j1)res1313221.581.263321.5402.320512.580.38622.80.71
所以 DCG 31.261.500.380.71 6.86
接下来计算IDCG。假设这个query的相关文档有6个相关性分数为3、3、3、2、2、1。
jg(rj)g(r_j)g(rj)d(j)res1313231.581.893321.5422.320.86522.580.77612.80.35
所以IDCG 31.891.50.860.770.35 8.37 最终 NDCG6 6.86/8.37 81.96%
参考链接https://www.cnblogs.com/by-dream/p/9403984.html https://blog.csdn.net/zimohuakai/article/details/6847453 《LETOR: A benchmark collection for research on learning to rank for information retrieval》
