卷积神经网络中高效分支注意力机制及新型激活函数的研究

作     者：崔士淼 

作者单位：南昌大学 

学位级别：硕士

导师姓名：闵卫东

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：卷积神经网络 激活函数 分支注意力机制 全局随机混合池化 信息减损 

摘      要：卷积神经网络(CNNs)作为深度学习领域的重要技术,在图像处理、语音识别、自然语言处理等领域取得了巨大成功。注意力机制和激活函数作为CNNs中的关键组成部分,会影响模型的性能。现有的注意力方法和激活函数存在两个问题。(1)大多数注意力方法使用平均池化来生成全局上下文和使用通道降维来减少复杂度。然而,平均池化对不同像素值响应相同,通道降维会导致信息损失。(2)Rectified Linear Unit(Re LU)作为最常用激活函数,对负输入存在零梯度和在原点处不可导的问题。近年来陆续有新型替代函数提出。然而,这些新型激活函数在不同数据集上表现不稳定,需要进一步研究和改进。 针对问题一,本文提出了一种高效选择核单元(Efficient Selective Kernel Unit,ESK Unit),并包含两种实例ESKB1(ESKB1只在通道域上选择分支)和ESKB2(ESKB2同时在通道域和空间域上选择分支)。在ESK单元中,首先使用了全局随机混合池化(RMP)聚集信息以提取全局上下文。然后,使用卷积模块建立相关性,以避免通道降维导致的信息减损。最后,对不同感受野尺寸的特征图进行自适应地融合。 针对问题二,本文提出了两种新颖的激活函数,分别被命名为Clogish和Cmish。这两个激活函数的设计是通过利用函数乘积形式的优势。Clogish和Cmish均是平衡和非单调的。此外,为了提高Clogish和Cmish的灵活性,本文还进一步提出了参数版本Clogish(Parametric Clogish,PClogish)和参数版本Cmish(Parametric Cmish,PCmish)。 实验结果表明本文提出的ESK方法比大多数现有的分支注意力方法在参数和性能之间实现了更好的平衡。譬如:在CIFAR-100数据集上的图像分类实验,本文的ESKB1比SE的Top-1准确率提高了1.16%,同时参数更少,优于现有方法,是所有方法里面效果最好的。实验结果也表明,本文提出的激活函数能够稳定地超越大多数现有的最先进激活函数。譬如:在CIFAR-100数据集上的图像分类实验,本文的Cmish方法的Top-1准确率比Re LU高了0.54%,优于现有方法,是所有方法里面效果最好的。