基于通道相似度熵的卷积神经网络裁剪

作     者：耿丽丽 牛保宁 GENG Lili;NIU Baoning

作者机构：太原理工大学计算机科学与技术学院(大数据学院)山西晋中030600 山西财经大学实验实训中心山西太原030006 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年第50卷第7期

页      面：133-143页

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：山西省重点研发计划(201903D421007)。 

主　　题：卷积神经网络 通道相似度 熵 滤波器 裁剪 

摘      要：卷积神经网络(CNN)中包含大量滤波器,参数训练以及存储占用大量内存资源。裁剪滤波器是减小网络规模、释放内存、提高计算速度的有效方法。现有滤波器裁剪方法的主要问题是将滤波器权值作为孤立的数值计算,裁剪小权值滤波器,保留权值大的滤波器,忽视了部分小权值滤波器在特征提取过程中的重要性。通过分析滤波器通道之间的相似性,提出一种基于通道相似度的滤波器熵值计算方法(FEC)。针对滤波器结构特征,对权值张量进行均值压缩,并证明其合理性。先计算滤波器通道距离判断通道之间的相似性,再根据通道相似度计算滤波器熵,由熵值大小进行滤波器排序,删除一定比例熵值较小的滤波器。实验设计针对不同卷积层采用不同的裁剪比例,在CIFAR10以及Image Net标准数据集上对VGG-16和Res Net-34网络进行裁剪。实验结果表明:在基本保持原始准确度的情况下,分别减少了约94%和70%的参数数量;在目标检测网络SSD上参数数量减少了55.72%,平均精度均值(mAP)提高了1.04个百分点。