探究平均准确度AP指标的缺陷及其影响

作     者：窦勇 乔鹏 靳若春 Yong DOU;Peng QIAO;Ruochun JIN

作者机构：国防科技大学并行与分布式处理重点实验室 

出 版 物：《中国科学：信息科学》 (Scientia Sinica(Informationis))

年 卷 期：2019年第49卷第10期

页      面：1369-1382页

核心收录：

学科分类：02[经济学] 0202[经济学-应用经济学] 

基　　金：国家重点研发计划(批准号:2018YFB1003405) 国家自然科学基金(批准号:61732018)资助项目 

主　　题：物体检测 平均准确度 数量准确性 评价指标 深度学习 

摘      要：平均准确度AP是计算机视觉领域物体检测算法的重要性能评价指标,长期用于相关学术研究成果的定量比较.我们在实践中发现AP指标存在缺陷不能准确反映物体检测算法的数量准确性.我们具体分析了AP存在缺陷的两种表现,首先是AP定义和计算方法允许虚警出现时召回率不变,出现一个召回率对应多个准确度的情况,AP值计算仅和该召回率对应的最大准确度有关,使得准确度降低的虚警检测被AP忽略或者称为被AP隐藏.其次,我们发现在高召回率区域,AP对于准确度的增量和对于召回率的增量偏好不同,且偏向于召回率增加,这意味着检测算法增加虚警对增加AP值更有益.AP值评价指标的缺陷有很大的危害,首先导致该领域研究存在人为反复调整阈值从而获得高AP值的可能,其次能够增强物体检测数量准确性的研究方法被长期抑制,阻碍了该领域的创新发展,最后导致追求高AP值的学术研究与追求数量准确性的实际应用严重分离,很多学术成果在实际运用中无法达到应用的要求.基于上述分析,我们呼吁对AP指标进行批判式的改进,以弥合学术研究和实际需求的鸿沟,促进技术创新和产业运用良性互动.