基于自注意力机制的双分支密集人群计数算法

作     者：杨天乐 李玲霞 张为 YANG Tian-le;LI Ling-xia;ZHANG Wei

作者机构：天津大学微电子学院天津300072 

出 版 物：《浙江大学学报:工学版》 (Journal of Zhejiang University:Engineering Science)

年 卷 期：2023年第57卷第10期

页      面：1955-1965页

核心收录：

学科分类：0710[理学-生物学] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划资助项目(2020YFC1522405) 省级科技重大专项与工程项目(19ZXZNGX00030) 

主　　题：人群计数 深度学习 自注意力机制 双分支 弱监督学习 

摘      要：针对密集人群计数中人头尺度变化大、复杂背景干扰的问题,提出基于自注意力机制的双分支密集人群计数算法.该算法结合卷积神经网络(CNN)和Transformer 2种网络框架,通过多尺度CNN分支和基于卷积增强自注意力模块的Transformer分支,分别获取人群局部信息和全局信息.设计双分支注意力融合模块,以具备连续尺度的人群特征提取能力;通过基于混合注意力模块的Transformer网络提取深度特征,进一步区分复杂背景并聚焦人群区域.采用位置级-全监督方式和计数级-弱监督方式,在ShanghaiTech Part A、ShanghaiTech Part B、UCFQNRF、JHU-Crowd++等数据集上进行实验.结果表明,算法在4个数据集上的性能均优于最近研究,全监督算法在上述数据集的平均绝对误差和均方根误差分别为55.3、6.7、82.9、55.7和93.1、9.8、145.1、248.0,可以实现高密集、高遮挡场景下的准确计数.特别是在弱监督算法对比中,以低参数量实现了更佳的计数精度,并达到全监督87.9%的计数效果.