面向图像分类的轻量型卷积神经网络层次化损失函数研究

作     者：肖成成 

作者单位：中国矿业大学 

学位级别：硕士

导师姓名：刘晓文

授予年度：2023年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：图像分类 深度学习 轻量型卷积神经网络 特征表达 损失函数 

摘      要：图像分类是计算机视觉领域中四大关键技术之一,也是其他三大技术的基础。在图像分类任务中,如何提取出图像更全面、更抽象的特征是解决问题的关键所在。轻量型卷积神经网络(LCNN)作为一种具有较少参数量和较低计算复杂度的卷积神经网络(CNN),可以自主提取数据的特征表达,已广泛应用于图像分类任务中。损失函数是LCNN模型中的重要组成部分,用于评估模型预测结果与真实值之间的差异,决定了模型参数的更新,是衡量模型对原始数据图像特征提取能力好坏的重要标准。因此,基于LCNN模型的损失函数研究在提升模型性能方面有着重要的意义。然而,目前有关损失函数的相关研究主要聚焦于单损失函数的设计,旨在优化类内与类间距离,缺乏对如何获得具有代表性类原型来正则化类内距离的探讨与分析;其次,现有工作主要分析CNN倒数第二层特征表达的输出特性,缺乏对CNN中间层特征表达的探讨;再次,现有关损失函数改进的工作主要针对人脸识别、图像检索等任务,由于不同任务所依据的判别准则存在本质上的差异,将相应的损失函数应用于图像分类任务时,性能增益受到限制。针对上述研究存在的不足,本文面向基于LCNN的图像分类任务,开展有关损失函数优化方法研究,主要工作如下:(1)为了获得更具代表性的类原型,本文首先提出了多项式核损失函数。通过采用多项式核函数代替传统softmax损失函数中的内积,将低维空间中难以分离的特征向量映射到高维空间中,获得更具代表性类原型以正则化类内距离,从而更好地测量样本特征向量与其对应类原型的相似度。其次,利用多项式核损失函数构建层次化类原型多项式核损失函数,缓解了反向传播过程中梯度消失、爆炸现象,提升了LCNN模型的分类性能。(2)探究与分析LCNN不同卷积单元的输出特性,提出了层次化损失函数优化框架。通过融合多个损失函数在LCNN不同卷积单元中学到的知识,以获得目标对象全面而抽象的特征表达,提升模型的泛化性能。面向层次化损失函数协作优化问题,提出了基于量子遗传算法的层次化自适应损失函数优化框架(HALOF),构建自适应学习任务的模型。基于HALOF结构特点,提出两阶段再训练策略,提升了HALOF训练效率,同时提高了模型的抗过拟合能力。(3)为了进一步验证本文所提算法的有效性,分别在多个不同LCNN模型和不同类型的图像分类数据集上进行实验验证。实验结果表明,与基准模型相比,所提的两种算法在细粒度图像数据集上将准确率分别提升了约10%。该论文有图32幅,表15个,参考文献91篇。