检索结果-南通市图书馆

检索条件"主题词=多出口深度神经网络"

共 2 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

面向边缘计算环境的深度学习应用推理执行优化系统设计与实现

面向边缘计算环境的深度学习应用推理执行优化系统设计与实现

引用

作者：蔡光兴东南大学

学位级别：硕士

随着深度学习技术的快速发展,以及智能终端设备的快速普及,在智能终端上运行深度学习应用已成为了必然趋势。深度学习应用可以为用户提供目标检测、语音文本转换以及翻译等服务,极大丰富用户的体验。与传统应用相比,此类应用中的深度学... 详细信息

随着深度学习技术的快速发展,以及智能终端设备的快速普及,在智能终端上运行深度学习应用已成为了必然趋势。深度学习应用可以为用户提供目标检测、语音文本转换以及翻译等服务,极大丰富用户的体验。与传统应用相比,此类应用中的深度学习推理过程通常具有计算密集、数据密集的特点,然而,多数终端设备的计算能力较弱难以支撑模型推理,而传统的移动云计算又常伴随不受控制的网络通信延迟,因此,在智能终端上运行深度学习应用往往难以满足其实时性需求。为了解决现有计算模式的不足,近几年来学术界提出了“边缘计算”,在靠近智能终端的边缘服务器上提供高带宽、低延迟的服务。目前有学者综合考虑终端和边缘服务器,设计了端-边深度学习任务协同处理机制,主要围绕终端和边缘服务器的推理优化展开研究。在终端的推理优化方面,现有工作主要为升级终端的硬件配置,然而,在升级智能终端配置的同时,对终端上不同处理器执行推理任务的性能特点却缺乏关注,未能充分发挥各处理器的计算效能。在边缘服务器的推理优化方面,现有研究往往照搬云计算模式下的优化技术,然而,边缘服务器相比于云数据中心,其资源是有限的,常无法实时为深度学习任务提供所需的模型数据,需要频繁进行GPU的显存切换操作,增加了处理延迟。以上这些问题为构建实时的深度学习应用推理执行系统带来新的挑战。针对以上问题,本硕士论文面向边缘计算环境,将多出口DNN(Multi-exit DNN)引入端-边协同推理模式,面向终端和边缘服务器的推理展开优化,具体包括三个部分:(1)面向终端上多出口DNN任务的推理优化问题,综合考虑任务的执行特点以及异构处理器的计算性能,设计基于异构处理器的多出口DNN推理加速机制,有效降低了推理延迟。(2)面向资源有限的边缘服务器中多种深度学习任务共存的场景,综合考虑多出口DNN的结构和执行特点以及GPU上下文切换的原理,设计面向边缘服务器的多出口DNN上下文快速切换机制,有效减少了GPU上下文切换开销,降低了任务处理时间。(3)基于上述理论成果设计与实现了面向边缘计算环境的图像识别原型系统。该原型系统分成端-边协同模块、终端模块以及边缘模块。其中,端-边协同模块负责终端和边缘之间的任务卸载决策以及网络通信;边缘模块负责任务的处理和结果返回;终端模块负责终端任务的处理,并将边缘服务器返回的结果和终端任务处理的结果加以展示。综上,本文针对边缘计算下深度学习应用的推理加速问题,分别针对终端和边缘服务器,设计了基于异构处理器协同推理加速机制和上下文快速切换机制,并构建了面向边缘计算环境的图像识别原型系统。本研究成果将为边缘计算下加速深度学习应用的执行提供有力支持,可进一步应用于与深度学习相关的目标检测、情感识别等诸多领域。

关键词：边缘计算深度学习多出口深度神经网络协同加速异构处理器

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向边缘智能应用的协同推断加速方法研究与实现

面向边缘智能应用的协同推断加速方法研究与实现

引用

作者：王慧田东南大学

学位级别：硕士

随着人工智能技术的快速发展,以深度神经网络为代表的智能算法成为了如今终端智能应用产品的关键技术支撑,在图像分类、自然语言处理、视频分析等领域得到了广泛地研究与使用。此类应用中深度神经网络的推断过程通常具有任务密集型与计... 详细信息

随着人工智能技术的快速发展,以深度神经网络为代表的智能算法成为了如今终端智能应用产品的关键技术支撑,在图像分类、自然语言处理、视频分析等领域得到了广泛地研究与使用。此类应用中深度神经网络的推断过程通常具有任务密集型与计算密集型特点,需要消耗大量的资源。然而,多数终端设备计算能力较弱难以支撑模型推断,而传统的云计算模式存在高延迟通信瓶颈,无法满足智能应用的低时延需求。为解决现有计算模式的不足,边缘智能作为一种新型的智能计算范式在近几年备受关注。边缘智能通过利用边缘计算的优势,将智能服务从云端迁移至网络边缘执行,提高服务的响应速度与可靠性。借助边缘智能框架加速深度神经网络推断,现有工作主要围绕模型优化与协同推断优化展开研究。然而,在模型优化方面,模型压缩方法易造成不可逆的准确率损失,而现有的模型提前退出方法虽保证了准确率却无法适应数据复杂程度分布的多样性,由此导致大量的模型计算冗余;在协同推断方面,现有方法存在节点之间大量的数据同步通信,在动态网络环境下易产生性能瓶颈,同时,有限的边缘节点资源与终端异构的环境特点对协同推断加速技术提出了更严峻的挑战。针对以上问题,本硕士论文围绕边缘智能应用场景,将多出口深度神经网络(Multi-exit DNN)引入端边协同推断模式,利用模型提前退出特性,分别从模型出口设置与任务卸载决策展开优化,具体包括三个部分:(1)针对数据分布多样性引起的模型计算冗余问题,提出了一种数据感知的Multi-exit DNN出口选择机制,在保证可靠的准确率前提下,通过采集模型各出口的样本退出概率分布与模型各层计算量分布信息,自适应地选择符合数据分布的最优出口设置(包括出口位置与数量),实现最小化Multi-exit DNN的计算量。(2)针对终端异构性、网络动态性与边缘资源有限性问题,提出了一种端边协同推断的模型切分与资源分配联合优化机制,通过结合Multi-exit DNN的特性,并根据模型计算特点、网络环境和设备资源约束,为异构终端提交的推断任务实现自适应地模型切分与资源分配联合决策,降低任务平均执行时间,提高协同推断效率。(3)基于上述理论成果,设计并实现了面向边缘智能应用的协同推断加速原型系统,系统采用端边协同模式,完成了终端层与边缘层的核心功能模块开发,并在边缘计算环境下进行系统部署与运行测试,验证了系统对边缘智能应用的性能提升效果。综上,本文针对边缘智能应用场景中的深度神经网络推断加速问题进行了理论研究与系统实现。实验结果表明,本文所提机制有效地提高了模型推断速度,并能良好地适用于异构终端与动态网络环境。本文的理论成果与原型系统有助于推进人工智能算法在边缘计算场景中的应用部署,为构建边缘智能生态系统提供支持。

关键词：边缘智能协同推断多出口深度神经网络模型切分资源分配

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：