面向边缘计算环境的深度学习应用推理执行优化系统设计与实现

作     者：蔡光兴 

作者单位：东南大学 

学位级别：硕士

导师姓名：东方

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：边缘计算 深度学习 多出口深度神经网络 协同加速 异构处理器 

摘      要：随着深度学习技术的快速发展,以及智能终端设备的快速普及,在智能终端上运行深度学习应用已成为了必然趋势。深度学习应用可以为用户提供目标检测、语音文本转换以及翻译等服务,极大丰富用户的体验。与传统应用相比,此类应用中的深度学习推理过程通常具有计算密集、数据密集的特点,然而,多数终端设备的计算能力较弱难以支撑模型推理,而传统的移动云计算又常伴随不受控制的网络通信延迟,因此,在智能终端上运行深度学习应用往往难以满足其实时性需求。为了解决现有计算模式的不足,近几年来学术界提出了“边缘计算,在靠近智能终端的边缘服务器上提供高带宽、低延迟的服务。目前有学者综合考虑终端和边缘服务器,设计了端-边深度学习任务协同处理机制,主要围绕终端和边缘服务器的推理优化展开研究。在终端的推理优化方面,现有工作主要为升级终端的硬件配置,然而,在升级智能终端配置的同时,对终端上不同处理器执行推理任务的性能特点却缺乏关注,未能充分发挥各处理器的计算效能。在边缘服务器的推理优化方面,现有研究往往照搬云计算模式下的优化技术,然而,边缘服务器相比于云数据中心,其资源是有限的,常无法实时为深度学习任务提供所需的模型数据,需要频繁进行GPU的显存切换操作,增加了处理延迟。以上这些问题为构建实时的深度学习应用推理执行系统带来新的挑战。针对以上问题,本硕士论文面向边缘计算环境,将多出口DNN(Multi-exit DNN)引入端-边协同推理模式,面向终端和边缘服务器的推理展开优化,具体包括三个部分:(1)面向终端上多出口DNN任务的推理优化问题,综合考虑任务的执行特点以及异构处理器的计算性能,设计基于异构处理器的多出口DNN推理加速机制,有效降低了推理延迟。(2)面向资源有限的边缘服务器中多种深度学习任务共存的场景,综合考虑多出口DNN的结构和执行特点以及GPU上下文切换的原理,设计面向边缘服务器的多出口DNN上下文快速切换机制,有效减少了GPU上下文切换开销,降低了任务处理时间。(3)基于上述理论成果设计与实现了面向边缘计算环境的图像识别原型系统。该原型系统分成端-边协同模块、终端模块以及边缘模块。其中,端-边协同模块负责终端和边缘之间的任务卸载决策以及网络通信;边缘模块负责任务的处理和结果返回;终端模块负责终端任务的处理,并将边缘服务器返回的结果和终端任务处理的结果加以展示。综上,本文针对边缘计算下深度学习应用的推理加速问题,分别针对终端和边缘服务器,设计了基于异构处理器协同推理加速机制和上下文快速切换机制,并构建了面向边缘计算环境的图像识别原型系统。本研究成果将为边缘计算下加速深度学习应用的执行提供有力支持,可进一步应用于与深度学习相关的目标检测、情感识别等诸多领域。