融合张量合成注意力的改进ResNet图像分类模型

作     者：邱云飞 张家欣 兰海 宗佳旭 Qiu Yunfei;Zhang Jiaxin;Lan Hai;Zong Jiaxu

作者机构：辽宁工程技术大学软件学院辽宁葫芦岛125105 中国科学院海西研究院泉州装备制造研究所福建泉州362216 元启工业技术有限公司山东青岛266000 

出 版 物：《激光与光电子学进展》 (Laser & Optoelectronics Progress)

年 卷 期：2023年第60卷第6期

页      面：87-96页

核心收录：

学科分类：0808[工学-电气工程] 08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 0702[理学-物理学] 

主　　题：张量合成注意力 残差网络 自注意力 特征提取 图像分类 

摘      要：针对卷积神经网络处理图像分类任务时提取特征不充分以及提取到的特征不区分贡献度的问题,提出了一种融合张量合成注意力的改进ResNet-101(RTSA Net-101)网络模型.首先,利用ResNet-101骨干网络提取图像特征,并在残差网络卷积结构后嵌入张量合成注意力模块,对获取的特征进行三张量积计算,得到注意力特征矩阵;然后,使用Softmax函数对注意力特征矩阵进行归一化,从而为特征分配权重,以区分特征的贡献度;最后,将得到的权重和对应的键值加权求和,获取最终图像完整特征,以提升模型的图像分类精度.在自然图像数据集CIFAR-10、CIFAR-100和街牌号数据集SVHN上进行了对比实验,模型分类准确率分别为96.12%、81.60%、96.67%,图像平均测试运行时间分别为0.0258 s、0.0260 s、0.0262 s.实验结果表明:相比于其他7种先进图像分类模型,RTSA Net-101模型可以获得更高的分类准确率和更短的测试运行时间,且能够有效地增强网络的特征学习能力,具有一定的创新性、高效性.