基于强关联平滑约束的目标检测模型剪枝方法

作     者：康彬 李卓 邱坤 窦海娥 王磊 郑宝玉 KANG Bin;LI Zhuo;QIU Kun;DOU Haie;WANG Lei;ZHENG Baoyu

作者机构：南京邮电大学物联网学院江苏南京210003 南京邮电大学应用技术学院江苏南京210042 南京邮电大学通信与信息工程学院江苏南京210003 

出 版 物：《南京邮电大学学报（自然科学版）》 (Journal of Nanjing University of Posts and Telecommunications：Natural Science Edition)

年 卷 期：2024年第44卷第3期

页      面：72-79页

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金(62171232,62071255,62371253,62001248) 江苏省重点研发计划(BE2023087) 江苏省高校重点项目(20KJA510009)资助项目 

主　　题：卷积神经网络 知识蒸馏 模型剪枝 

摘      要：目标检测模型的轻量化研究虽已产生诸多代表性成果,但现有方法在模型高比例剪枝时会出现检测精度断崖式衰减。在探索主流目标检测网络剪枝性能衰减的根源时发现剪枝后梯度的波动是影响模型性能的关键。为此构建了基于强关联平滑约束的剪枝框架(Pruning Framework based on Strong Correlation Smoothing Constraint,SCSC)。首先将历史梯度及当前梯度定义为自蒸馏理论中的教师及学生,通过学生模仿教师的方式使学生梯度最大程度接近教师梯度,实现梯度平滑;其次依据梯度平滑结果提出基于强关联约束的剪枝方案,将历史梯度与当前梯度组成强关联组,通过强化历史梯度对当前梯度更新的贡献增强模型权重参数稀疏度。在PASCAL VOC2007数据集进行测试,SCSC对比主流剪枝方法取得了2个百分点的平均精度提升;在KITTI数据集中,SCSC剪枝率为80%时,相较于原网络识别精度衰减仅为3个百分点。