基于边缘集群协同的DNN推断

作     者：唐鹏程 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：刘劼

授予年度：2022年

学科分类：080904[工学-电磁场与微波技术] 12[管理学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0810[工学-信息与通信工程] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度神经网络 物联网 分区推理 

摘      要：与利用云端计算的解决方案相比,在物联网(Io T)边缘设备上执行深度神经网络(DNN)推理可确保输入数据的隐私性,同时可能降低运行时间。由于大多数边缘设备内存和计算资源有限,它们无法存储和执行复杂的DNN。可以通过跨多个边缘设备分区和分布各个层的信息的方法,以减少每个设备上的计算量和数据量。在本文中,我们为该问题提供了解决方案,这是一种通过全连接层分区,以及特征和权重密集的卷积层分区,来支持DNN推理任务的全局分布的方法。此外,我们通过使用将特征和权重分区,与通信感知层融合方法相结合的技术,从而实现跨层的整体优化,同时优化了推理任务的内存、计算和通信需求。对于给定数量的边缘设备,这些方案使用整数线性规划(ILP)公式联合应用,以最大限度地减少设备之间的数据交换,优化运行时间并找到整个模型的最小内存占用。运行四种不同DNN模型的真实硬件设置的实验结果证实,该方案能够均匀地平衡设备之间的内存占用。对于100 Mbit/s连接的6个设备,层融合的集成还可将通信需求降低多达28.8%。与没有融合的层分区相比,这使推断任务运行时间的加速高达1.52倍。