基于深度学习的样本不平衡问题研究

作     者：郑宇 

作者单位：重庆理工大学 

学位级别：硕士

导师姓名：徐传运

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：深度学习 数据不平衡 长尾分布 图像分类 目标检测 

摘      要：数据是深度学习不可或缺的因素之一,在各种视觉任务场景中都依赖着相应的数据集。训练分类器的基本假设是:基于所研究数据集不同类别中的样本数量大致平衡。现代深度学习方法在均匀分布上表现良好,然而在长尾的自然世界中样本数量是不平衡的,这种不平衡给基于深度学习的模型训练和实际应用带来了巨大的挑战。对于近年来备受关注的样本不平问题,本文定义了几种常见的不平衡形式,采用相关开源数据集对其进行重构作为研究对象。在计算机视觉中的样本不平衡问题上,利用重加权的思想对深度学习在图像分类和目标检测上展开研究。本文主要研究工作包括:（1）首先在图像分类中研究了现有工业上常用的对于不平衡数据集的处理方法。对现有的重采样,重加权方法进行了详细的比较分析。使用Res Net18模型在CIFAR-10,CIFAR-100,Image Net-Tiny这三个基准数据集上展开相关实验。通过实验发现重加权方法在处理样本不平衡问题上优于更具稳定性。（2）由于重加权方法在样本不平衡问题上的优秀表现,本文针对重加权方法展开了研究。考虑类别数量,样本数量,类别不平衡度这三个因素对重加权结果的影响。在以往的研究中,权重的设置只与类别样本的数量有关,在敏感的加权方法中,仅依靠类样本个数的信息来确定权重的大小是非常粗略地。通过三个数据集自身的属性来改进现有的有效样本计算方法,从而对现有的有效样本损失的优化。实现了自适应的有效样本加权方法。在构造的长尾CIFAR数据集中证明了我们方法的有效性。（3）同时对于在目标检测中的难易样本不平衡问题,本文提出了一种基于Cascade R-CNN的级联优化的策略。逐步优化训练过程中建议区域的质量同时平衡正负样本,并且通过回归损失来对难易样本在边框回归中产生的梯度进行平衡,从而达到平衡检测器训练过程中的难易样本。在SKU-110K和MS-COCO2017数据集上对本文的方法进行了验证,通过实验证明方法有效地提高了检测器的检测精度。