轻量级深度神经网络模型适配边缘智能研究综述

作     者：徐小华 周长兵 胡忠旭 林仕勋 喻振杰 XU Xiaohua;ZHOU Zhangbing;HU Zhongxu;LIN Shixun;YU Zhenjie

作者机构：中国地质大学(北京)信息工程学院北京100083 昭通学院信息技术教育中心云南昭通657000 常州工学院计算机信息工程学院江苏常州213000 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2024年第51卷第7期

页      面：257-271页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：地球科学文献知识服务与决策支撑二级项目(DD20230139) 云南省地方本科高校基础研究联合专项-面上项目(202301BA070001-095) 

主　　题：边缘智能 深度神经网络 轻量级神经网络 模型压缩 轻量化架构设计 

摘      要：随着物联网和人工智能的迅猛发展,边缘计算和人工智能的结合催生了边缘智能这一新的研究领域。边缘智能具备一定的计算能力,能够提供实时、高效和智能的响应。它在智能城市、工业物联网、智能医疗、自动驾驶以及智能家居等领域都具有重要的应用。为了提升模型的准确度,深度神经网络往往采用更深、更大的架构,导致了模型参数的显著增加、存储需求的上升和计算量的增大。受限于物联网边缘设备在计算能力、存储空间和能源资源方面的局限,深度神经网络难以被直接部署到这些设备上。因此,低内存、低计算资源、高准确度且能实时推理的轻量级深度神经网络成为了研究热点。文中首先回顾边缘智能的发展历程,并分析轻量级深度神经网络适应边缘智能的现实需求,提出了两种构建轻量级深度神经网络模型的方法:深度模型压缩技术和轻量化架构设计。接着详细讨论了参数剪枝、参数量化、低秩分解、知识蒸馏以及混合压缩5种主要的深度模型压缩技术,归纳它们各自的性能优势与局限,并评估它们在常用数据集上的压缩效果。之后深入分析轻量化架构设计中的调整卷积核大小、降低输入通道数、分解卷积操作和调整卷积宽度的策略,并比较了几种常用的轻量化网络模型。最后,展望轻量级深度神经网络在边缘智能领域的未来研究方向。