平均倒数排名

平均倒数排名是统计学中,依据排序的正确性,对查询请求响应结果的评估。查询响应结果的倒数排名是第一个正确答案的倒数积。平均倒数排名是多个查询结果的平均值。:

: \text{MRR} = \frac{1} \sum_{i=1}^ \frac{1}{\text{rank}_i}. \!

平均倒数排名和调和平均数有些相似。

例子
比如,想象一下我们有如下三个查询请求,让系统将他们翻译为英语的複数形式。对于每个例子,系统给出三个猜测,结果中第一个是我们认为最可能正确的:

通过这三个例子,我们得到平均倒数排名为\frac{(\frac{1}{3}+\frac{1}{2}+1)}{3} = \frac{11}{18}约为0.61。

此外:

如果所有结果都不正确,结果为 0

如果存在多个正确答案,考虑使用平均准确度(MAP)

请参考信息检索以及問答系統

参考文献

评论 (0)

  • 还没有评论,来抢沙发吧。