网络剪枝与知识蒸馏相结合的轻量级鸟声识别方法

作     者：申小虎 李冠宇 史洪飞 王传之 

作者机构：江苏警官学院刑事科学技术系 国家林业和草原局野生动植物物证技术国家林业和草原局重点实验室 大连海事大学信息科学与技术学院 科大讯飞科技有限公司 

出 版 物：《应用声学》 (Journal of Applied Acoustics)

年 卷 期：2024年

学科分类：071011[理学-生物物理学] 0710[理学-生物学] 0711[理学-系统科学] 07[理学] 

基　　金：国家自然科学基金项目(61976032) 野生动植物物证技术国家林业和草原局重点实验室开放课题(KLNPC2102) 

主　　题：网络剪枝 知识蒸馏 鸟声识别 轻量级网络 被动声学监测 

摘      要：在鸟声识别应用中，算法模型多数采用参数密集型，缺少能够搭载至被动声学监测设备的高效网络。针对EfficientNet网络结构特点，将结构化剪枝与知识蒸馏方法相结合，确保剪枝后的网络保持良好的泛化能力，能够满足不同资源配置条件下的网络需求。一方面，通过逆背包准则建立了剪枝通道与资源间的信息表述，在保留网络框架条件下完成通道剪枝。另一方面，在知识蒸馏方法中通过加入MBConv模块内部蒸馏损失分量并完成训练，确保跨组信息交换保留了剪枝前后特征映射之间的距离。通过对南京浦口区老山森林中收集的10类鸟声检测分类实验，在压缩后网络参数量仅3.0 M的条件下，分类精度可达到91.64%。该文所提方法在完成网络规模压缩的同时，较好地保留了分类精度，与相同规模主流轻量级网络相比较，能更好地适应鸟声识别被动声学监测的设备需求。