跨域小样本细粒度图像分析在缺陷目标检测中的研究与应用

作     者：萨良兵 

作者单位：北京工商大学 

学位级别：硕士

导师姓名：于重重

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：缺陷检测 跨域小样本分类 跨域小样本目标检测 细粒度图像分析 

摘      要：近年来,随着计算机硬件的不断创新和计算能力的不断突破,深度学习在计算机视觉方向的研究成果被成功应用到各个领域。在工业生产领域,计算机视觉技术常被用于产品的缺陷检测。但是,大量收集和标注缺陷样本数据难度较大。再者,各种工业产品表面缺陷之间的特征太过相似,进一步增加了检测识别的难度。因此,对少量工业产品缺陷进行高精度的检测识别具有重要的现实意义。本文结合工业产品的表面缺陷样本数据量少的特点,首先提出基于数据增强的方法,实现缺陷样本在特征层面和数据量角度的扩充。然后,针对跨域造成的复杂高层语义问题和不同表面缺陷特征相似问题,提出基于跨域小样本学习和细粒度图像分析的缺陷识别和目标检测方法,实现少量缺陷样本上的缺陷识别和目标检测。最后,在已公开的数据集和本文收集的法兰轴缺陷数据集上进行实验,证明了所提方法的有效性。本文的主要研究内容如下:(1)为解决本文所收集的法兰轴表面缺陷样本数量过少的问题,提出一种基于有监督的随机组合式的数据增强方法。该方法基于几何、颜色、像素点等包含18种有监督的数据增强策略,并按照一定概率随机选择4-9种方法对缺陷样本进行数据增强。统计分布特性的实验结果表明,随机组合式数据增强方法从数据量和特征分布角度都扩充了缺陷样本。在数据增强的基础上,基于深度学习的图像分类精度从66.7%提升到93.3%。结果证明了该方法的有效性。(2)缺陷样本通过数据增强技术实现一定程度的扩容,但仍不能满足深度模型的训练需求。提出一种基于注意力与自适应双线性匹配网络的跨域小样本缺陷识别模型,在特征编码器中引入残差注意力机制用于解决学习小样本跨域多维度特征分布问题,在预测器中构建自适应双线性匹配网络用于解决不同缺陷之间由于形状、纹理或颜色等特征太过相似的细粒度问题。实验结果表明,在公共小样本数据集CUB上5way-5shot的识别精度为63.78%;在工业缺陷数据集NEU-DET和法兰轴上3way-5shot的识别精度分别为89.19%和82.94%。实验结果证明了方法的有效性。(3)对于缺陷目标检测应用场景,提出一种基于多尺度注意力和双Ro I Head的跨域小样本缺陷目标检测模型。该模型以De FRCN模型为基础,在主干网络中融入特征金字塔网络和注意力机制用于解决缺陷样本多尺度和小样本跨域模型微调时快速学习的问题,在区域识别网络中采用双Ro I Head用于解决缺陷特征细粒度相似问题。实验结果表明,10-shot下综合评估能力较强的n AP指标达到61.79%m AP。该模型可使用少量的缺陷样本实现较高精度的检测。