深度神经网络中几类损失函数的分析与应用

作     者：朱奕坤 

作者单位：战略支援部队信息工程大学 

学位级别：硕士

导师姓名：郭从洲

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：损失函数 误差反向传播算法 深度神经网络 标签分类 边界框回归 

摘      要：损失函数是深度神经网络优化问题的数学基础,它通过度量输出值和标签值的差异程度影响训练,是提升模型训练效率的突破口。分析损失函数的结构和变量、解释其机理是深度学习理论研究领域面临的挑战。本文基于损失函数对模型训练的影响,对比分析函数的结构和作用,并在现有深度神经网络结构基础上,对损失函数的构建进行了深入分析研究,并将之应用于数字图像分类和目标检测等领域。本文具体工作和创新点如下:1.研究分析了深度神经网络的反向传播过程。针对目前在神经网络权值更新中损失函数最优解求解的问题,通过分析全连接神经网络和卷积神经网络的信息误差反向传播方法,根据卷积层、池化层和损失函数的结构,逐一给出了严密的参数迭代数学公式。在试验测试阶段,利用经典的LeNet分类模型,绘制权值更新变化曲线,验证了权值更新算法的准确性。详细的权值更新计算方法有助于了解信号在神经网络中的传递过程,对于网络结构的优化、损失函数的设计和底层源代码的编写都有重要的指导意义。2.改进了一种基于类内和类间距离的分类损失函数。针对Softmax损失函数在增大类间距离上效果不明显的现象,以及处理多类别分类问题时易出现误分类的问题,本文通过加入角度边距因子控制类别之间边距的大小,并结合马氏距离度量方法,提出了一种改进的基于类内约束和类间排斥的分类损失函数。本文通过LeNet网络模型数值实验进行了验证分析,对MNIST数据集和Fashion-MNIST数据集的10个类别进行分类测试,并与已有的其他损失函数的效果进行对比。相较于边距学习函数和度量学习函数,本文提出的函数能够更好地提高类内紧凑性和类间分离性,网络的分类准确率提高了0.59%～2.43%。3.实践应用了分类损失函数和回归损失函数。在分类损失函数的应用上,针对循环神经网络中输出与真实值长度不一致的问题,研究了CTC分类损失函数的原理,推导了其前向后向算子并计算损失梯度,并应用于自然场景文字目标检测算法,提高了地图编码识别模型的准确率。在回归损失函数的应用上,针对常见目标检测框回归问题,我们分析了EIoU回归损失函数各参数指标的定义和作用,并将EIoU回归损失函数应用于构建的两步模块化轻量级检测网络,同时在影像分类时应用基于类内约束和类间排斥的分类损失函数。我们结合使用模型的重参数化结构提高了多源遥感图像目标检测精度,实验结果表明本文模型的F1值相较于YOLOv4网络和基于Faster R-CNN的检测模型提高了5%～10%。