基于对抗学习和区域增强的无监督域自适应行人再辨识方法研究

作     者：韦沛佚 

作者单位：广西师范大学 

学位级别：硕士

导师姓名：张灿龙

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：行人再辨识 对抗学习 风格转换 无监督聚类 行人语义分割 

摘      要：行人再辨识是图像检索研究的一个重要分支,其主要任务是给定一张行人图像,然后在不同视频监控系统中检索出同一行人。该项技术可广泛应用于智能视频监控、安保、刑侦等领域,具有重要的理论意义和良好的商用前景。近年来,基于深度学习的有监督行人再辨识方法的准确率不断突破新高。但这类方法在实际应用时却面临诸多挑战。首先,这类方法需要标注大量的数据集来训练模型,人工成本巨大。此外,在带标注的数据集上训练好的模型应用于开放场景时,往往会因为域间差异(如不同的光照,色差,纹理等)问题而导致模型性能大幅下降。为了解决以上问题,本文提出了基于对抗学习和区域增强的无监督域自适应行人再辨识方法。本文的主要工作如下:1)提出了一种基于对抗学习和注意力的强化域自适应行人再辨识方法。首先,经过风格转换使带标签的源域图像具有目标域图像的风格,从视觉上减小两个域之间的域间差异;其次,专门设计了一个以Wasserstein度量作为判别函数的对抗学习模块,从特征分布上进一步缩小域间差异,即将两个域提取到的特征映射到特征空间中,并通过对抗学习的方式对齐两个域的特征,进而增强模型的域自适应能力。接着,提出了一种空间-通道注意力机制来增强行人区域并抑制背景噪声,从而提升行人识别和聚类的性能。最后,设计了一种反馈训练机制,即在风格转换的过程中引入了行人再辨识计算,以解决风格转换过程中源域标签丢失的问题,进而保持了风格转换前后源域图像的语义一致性。实验表明,相较于其他的域自适应行人再辨识方法,本文提出的方法在Duck→Market,Market→Duke,Market→MSMT17和Duke→MSMT17的跨域实验中,m AP精度分别提高了2.6%,0.6%,2.1%,4.1%。2)采用注意力机制对行人图像进行处理只能关注到行人的大致区域,仍然会有少量背景噪声或忽略部分行人区域特征的情况出现。因此,提出一种基于行人语义分割和自相似性学习的区域增强方法,以进一步提升模型性能。该方法首先通过人体解析模型对行人各部分进行语义标签预测;其次,将各部分的语义标签特征进行语义激活并分别与图像特征进行掩模运算,以获得各个区域部分的表示;然后,结合语义标签特征图对各区域部分的表示特征进行融合,进而得到图像中人体部分的精细化表示;最后,通过对人体部分的全局区域和局部区域进行自相似性学习,以提升模型的泛化性能。通过在Duck→Market,Market→Duke,Market→MSMT和Duke→MSMT上的实验结果表明,该方法的性能可以在原来的基础上分别进一步提升2.6%,3.4%,1.7%和2.1%。