检索结果-南通市图书馆

作者：尤相龙浙江大学

学位级别：硕士

深度卷积神经网络在计算机视觉各个领域都取得了日益提升的突破性进展,然而对于某些特定场景下的应用则仍然存在很多问题,比如隐私安全和硬件代价(包括算法框架中的数据存储和计算成本等),这些问题都对深度卷积神经网络在实际场景中的... 详细信息

深度卷积神经网络在计算机视觉各个领域都取得了日益提升的突破性进展,然而对于某些特定场景下的应用则仍然存在很多问题,比如隐私安全和硬件代价(包括算法框架中的数据存储和计算成本等),这些问题都对深度卷积神经网络在实际场景中的应用落地起到阻碍作用。在多目标检测领域,大量应用RGB数据的监控算法在光照不好的情况下性能会下降,同时还存在隐私泄漏风险。因此我们选择利用depth图像进行研究,一方面可以更好地避免光照和天气变化等外部条件的影响,另一方面depth图像只获取人体目标的外部深度特征,不会暴露面部容貌等信息,因而在越来越重视隐私保护的今天,更容易被大家所接受。除此之外,在如今这个万物进行移动端和微服务方向发展的趋势下,如何利用移动电子产品和端侧智能芯片有限的硬件资源进行算法的移植应用,也是一个重要的研究领域,所以我们采用模型轻量化的方式进行模型参数计算过程的优化,并且在算法部署到硬件开发板的过程中通过Tensor RT量化的方式进一步优化,使得整个监测系统可以平稳地运行在移动端开发板上。针对这些问题,本文在总结和评估现有各种多目标检测算法和追踪算法优缺点的基础上,着重研究采用depth图像带来的优势及关键技术突破,而后对整个模型进行轻量化研究和量化加速,最终成功部署在硬件设备上。本文的研究内容和主要贡献如下:(1)提出了一种基于depth图像特征的多人检测卷积神经网络。该算法只使用depth图像特征,利用不同个体间外部轮廓的深度特征差异来进行目标检测任务,depth图像不会受外部光照、温度等变化影响,在阴暗环境下依旧可以不受影响地完成既定任务,从而避免了RGB图像存在的受外部环境影响大的问题。而且TOF图像传感器所获得数据是单通道图像,只具有图像内部各视点距传感器的深度信息,很好地保护了监控目标群体的隐私。经多个数据集和现场验证,该算法可以出色地完成多人检测任务,且具有很高的鲁棒性和普适性。(2)提出了一种基于depth图像特征的实时多目标追踪算法。想要完成实时监测任务,在通过多目标检测获得检测目标的位置信息后,需要利用实时多目标追踪算法来将轨迹与检测进行关联匹配。本文在研究过程中利用顶部视角的depth图像来避免多物体之间的遮挡情况,可以减少原追踪算法中外观模型比对过程对匹配结果判定的影响,从而减少部分计算过程而不影响结果的正确性。并充分利用depth图像单通道数据的优势,在实时多目标追踪算法中进一步降低整体算法的计算量,更好地完成了整个监测系统的研究设计。(3)为解决深度卷积神经网络算法所需的硬件存储资源和算力要求高的难题,本文进一步研究了一系列网络优化加速的方法。在完成不同轻量化方法对于depth图像特征的适用性和高效性进行比较的基础上,选取其中的最佳方案进行深入研究设计,应用于本文提出的多人检测卷积神经网络中,更进一步采用INT8量化方案解决算法在硬件平台上的加速问题,最终将整个多目标实时监测系统成功部署到Nvidia Jetson Xavier开发板上,完成整个实时监测系统的开发。

关键词：多人检测卷积神经网络实时多目标追踪算法 depth图像卷积神经网络轻量化硬件平台量化加速实时监测系统

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于跨模态注意力融合的煤炭异物检测方法

引用

工矿自动化 2024年第1期50卷 57-65页

作者：曹现刚李虎王鹏吴旭东向敬芳丁文韬西安科技大学机械工程学院西安710054 陕西省矿山机电装备智能检测重点实验室西安710054

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入depth图像构建RGB图像与depth图像的双特征金字塔网络(DFPN),采... 详细信息

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入depth图像构建RGB图像与depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果。实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9%;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割。

关键词：煤炭异物检测实例分割双特征金字塔网络跨模态注意力融合 depth图像坐标注意力改进空间注意力

来源：

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于RGB-D的反向融合实例分割算法

引用

图学学报 2021年第5期42卷 767-774页

作者：汪丹丹张旭东范之国孙锐合肥工业大学计算机与信息学院安徽合肥230009

RGB-D图像在提供场景RGB信息的基础上添加了depth信息,可以有效地描述场景的色彩及三维几何信息。结合RGB图像及depth图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘细节特征的反向融合实例分割算法。该方法通过采用不... 详细信息

RGB-D图像在提供场景RGB信息的基础上添加了depth信息,可以有效地描述场景的色彩及三维几何信息。结合RGB图像及depth图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取RGB与depth图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时在掩码分支引入掩码优化结构,从而实现RGB-D的反向融合实例分割。实验结果表明,反向融合特征模型能够在RGB-D实例分割的研究中获得更加优异的成绩,有效地融合了depth图像与彩色图像2种不同特征图像特征,在使用ResNet-101作为骨干网络的基础上,与不加入深度信息的Mask R-CNN相比平均精度提高10.6%,比直接正向融合2种特征平均精度提高4.5%。

关键词： depth图像实例分割特征融合反向融合掩码优化

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：