检索结果-南通市图书馆

基于Transformer的遮挡及跨模态行人重识别方法研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于Transformer的遮挡及跨模态行人重识别方法研究

作者：蒋明子重庆理工大学

学位级别：硕士

行人重识别旨在从多个互不交叉的摄像头拍摄的视图中识别一个特定的行人。现有研究多数基于一个前提,即用于检索的行人图像需要包含完整的身体躯干信息,且都是可见光拍摄的图片。然而现实世界中,行人不可避免被障碍物遮挡,导致身体信息... 详细信息

行人重识别旨在从多个互不交叉的摄像头拍摄的视图中识别一个特定的行人。现有研究多数基于一个前提,即用于检索的行人图像需要包含完整的身体躯干信息,且都是可见光拍摄的图片。然而现实世界中,行人不可避免被障碍物遮挡,导致身体信息不完全,从而带来遮挡行人重识别的难题。此外,传统RGB摄像头在夜间低光照环境难以捕捉清晰的行人图片,24小时全天候监控的现实需求引入IR摄像头捕获低光环境行人图像,跨RGB-IR模态的行人重识别的研究也因此受到关注。遮挡和跨模态场景在现实世界中普遍存在,这使得行人重识别技术在实际落地应用过程中面临诸多挑战。对于遮挡行人重识别,流行的方法是通过定位行人未被遮挡区域并提取特征,从而避免引入背景噪声等问题。未被遮挡区域定位的典型做法有两种,一是引入姿态估计模型来辅助判断行人身体区域,其缺点是模型训练复杂,姿态估计模型的引入也带来了额外的偏差;二是,通过将行人身体信息硬划分为不同局部区域,再按区域提取局部特征来规避遮挡部分,其缺点是方法不灵活,面对复杂情况表现较差。当前跨模态行人重识别通常是基于卷积神经网络(CNN)进行特征提取,模型设计复杂,性能也已接近上限。近年来,Transformer的流行及其在自然语言领域良好的性能表现,使其在行人重识别领域也受到了研究者的青睐。本文对传统、遮挡及跨模态行人重识别的方法进行了综述,总结了现有研究中仍然存在的问题。然后基于Transformer技术对行人重识别任务进行了初步探索,在遮挡和跨模态场景两个难点上进行了针对性的模型设计,并进行了实验验证,取得了出色的性能表现。具体的研究内容如下:(1)提出了一种基于Transformer和特征融合的传统行人重识别网络,通过特征融合的方式聚合Transformer的多层次信息。设计了一种标记选择模块,即相互注意特征融合模块,通过计算注意力得分选取网络不同层次具有鉴别性的特征标记,实现了多层次的特征融合,获得了更丰富的行人特征表示,在传统行人重识别任务中取得了良好的性能表现。(2)基于Transformer,提出了一种用于遮挡行人重识别的融合全局和局部特征的双分支网络。通过局部分支中的自注意力特征选取模块选取具有鉴别性的标记构建局部特征,加强网络对局部特征的提取能力。同时,设计目标一致性损失来指导网络训练,该损失比传统方法有更加一致的收敛目标。实验以及结果可视化证明了所提方法的有效性。(3)提出了一种基于Transformer的模态特有嵌入与共有门控的跨模态行人重识别网络。针对跨模态行人重识别任务作出了双流的网络设计,并且设计了模态特有嵌入、灰度增强、模态共有门控模块。通过灰度增强弥补了RGB与IR巨大的模态间差异,模态特有嵌入保留了来自不同模态的特征信息,最后通过模态共享门控层约束网络关注不同模态共有的特征,实验证明了所提方法在跨模态行人重识别任务获得了优秀的表现。

关键词：遮挡行人重识别 Transformer 跨模态行人重识别度量学习

基于特征学习和重排序的跨模态行人重识别方法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特征学习和重排序的跨模态行人重识别方法研究

作者：梁校伦东莞理工学院

学位级别：硕士

随着科技的发展及社会的进步,具备可见光和红外线两种模式的监控设备逐步被广泛部署,监控设备产生的数据量急剧增加。为了能够自动检索监控画面特定行人的位置,面向可见光和红外跨模态的行人重识别(以下简称跨模态行人重识别)任务被提... 详细信息

随着科技的发展及社会的进步,具备可见光和红外线两种模式的监控设备逐步被广泛部署,监控设备产生的数据量急剧增加。为了能够自动检索监控画面特定行人的位置,面向可见光和红外跨模态的行人重识别(以下简称跨模态行人重识别)任务被提出。当前,研究人员将卷积神经网络、度量学习、重排序等新技术引入跨模态行人重识别领域,并取得相当大的进展。但面对跨模态行人重识别模态内外差异,仍旧存在以下问题:(1)行人特征的提取受到行人图像成像不利条件的制约;(2)行人姿态的变化导致行人局部信息存在混淆对齐的现象;(3)模态间的差异导致行人近邻信息挖掘困难。为解决以上问题,本文深入探讨了跨模态行人重识别任务中的三大核心技术环节:特征提取、度量学习以及重排序,现将本文的研究内容总结如下:(1)针对行人特征提取行人图像成像不利条件的制约,本文提出一种基于多路特征学习的跨模态行人重识别方法。首先通过本文所提出的多路特征学习网络提取行人全局特征,并在水平方向和垂直方向划分行人局部特征旨在多路学习行人特征;同时在所提出的多路特征学习网络嵌入所提出的残差非局部注意模块,该模块能够自适应地降低行人图像的噪声点,并采取非局部注意力机制扩大卷积神经网络的感受野,进一步提高了提取得到行人特征的鲁棒性。实验结果显示,基于多路特征学习的跨模态行人重识别方法依托于多路特征学习,能够成功地识别并提炼出更高级别的行人语义信息。且有效地适应行人图像成像的不利因素以及成像的噪声点。(2)针对行人姿态的变化致使行人局部信息混淆对齐,本文提出一种基于异质信息对齐的跨模态行人重识别方法,该方法依据不同信息的匹配对齐原理,实现局部特征的动态对齐。首先通过卷积神经网络提取行人局部特征信息;随后通过本文提出异质局部信息对齐算法,将行人对齐问题转换序列匹配问题,通过计算行人图像最短路径动态对齐行人局部特征,实现行人局部特征动态对齐。最后采取交叉熵损失作为行人身份类别判断和加权正则化三元组损失监督神经网络学习。实验结果显示,基于异质信息对齐的跨模态行人重识别方法有效地减少了行人局部信息混淆对齐的情况,整体提高了跨模态行人重识别模型的准确性。(3)针对行人图像模态间的差异导致行人近邻挖掘困难的问题,本文提出了基于拓展k近邻重排序的跨模态行人重识别方法。首先通过嵌入了本文所提出的异质局部信息对齐算法的多路特征学习网络提取行人特征信息,形成初始排序列表;随后通过本文提出拓展k近邻重排序算法,动态拓展k近邻查询图像的同模态和跨模态的近邻信息,扩大查询图像上下文信息。实验结果表明,所提出的方法有效地扩展了对行人跨模态相邻信息的探索,从而显著提升了跨模态行人重识别的精确度。

关键词：跨模态行人重识别局部特征特征对齐重排序深度学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于跨模态行人重识别的村民检测追踪系统

基于跨模态行人重识别的村民检测追踪系统

作者：林曼曼重庆三峡学院

学位级别：硕士

近年来,农村社会治安问题引起人们的广泛关注。传统的监控方式是通过人力监控检测追踪,然后出现摄像头监控检测追踪技术,它能捕获可见光(RGB)图像和红外(Infrared,IR)图像。但是,靠人力一帧帧翻阅图像,工作量大,十分不便。因此,出现了... 详细信息

近年来,农村社会治安问题引起人们的广泛关注。传统的监控方式是通过人力监控检测追踪,然后出现摄像头监控检测追踪技术,它能捕获可见光(RGB)图像和红外(Infrared,IR)图像。但是,靠人力一帧帧翻阅图像,工作量大,十分不便。因此,出现了行人重识别技术。行人重识别是判断不同监控摄像头下出现的行人图像是否属于同一行人的技术。而跨模态行人重识别,即识别的行人图像包括可见光图像和红外图像。在现实的生活场景中,传统的行人重识别方法难以满足复杂的识别要求,光照、角度、遮挡,可见光与红外图像的模态鸿沟等因素都会影响识别的准确性。为此,本文提出一种基于残差网络,融合注意力机制并进行迁移学习的跨模态行人重识别网络模型,旨在提高跨模态行人重识别的准确性。具体工作包括以下几个方面:(1)采集和预处理村民图像数据集。收集村民的RGB和IR图像,对其进行分类标签及归一化处理,并进行数据增强操作扩充村民图像数量,提高模型的泛化能力。另外,将数据集按照7:3的比例划分为训练集和测试集。(2)提出一种以Res Net50为骨干网络,融合注意力机制并进行迁移学习的跨模态行人重识别网络模型。首先,图像经过信道交换网络来实现跨模态数据的信息交换和融合,这个过程是自适应的和动态的,且不引入额外的参数。其次,引入SENet注意力机制,提取不同通道不同区域的权重信息,调整权重来关注重点信息。最后,通过分类损失和权重正则化三元组损失函数优化模型,最小化模型损失。使用基于模型的迁移学习来初始化参数和偏置信息,提高学习效率,加速模型的训练。通过对比实验,该模型的rank-1和m AP值均高于其他网络模型,验证改进方法的有效性。(3)开发村民检测追踪系统。基于改进后的模型,经过系统需求分析,系统设计,实现基于跨模态行人重识别的村民检测追踪系统。用户可以通过上传其他村民的图像来检索识别目标图像中行人的信息。该系统识别准确度高,页面友好,功能清晰,操作简单。

关键词：村民跨模态行人重识别残差网络注意力机制迁移学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力特征融合的跨模态行人重识别

计算机系统应用 2024年第9期33卷 269-275页

作者：邓淑雅李浩源南京信息工程大学计算机学院、网络空间安全学院南京210044

跨模态行人重识别任务旨在匹配同一行人的可见光图像和红外图像,在智能安全监控系统中广泛应用.由于可见光模态和红外模态存在固有的模态差异,给跨模态行人重识别任务在实际应用过程中带来了巨大的挑战.为了缓解模态差异,研究人员提出... 详细信息

跨模态行人重识别任务旨在匹配同一行人的可见光图像和红外图像,在智能安全监控系统中广泛应用.由于可见光模态和红外模态存在固有的模态差异,给跨模态行人重识别任务在实际应用过程中带来了巨大的挑战.为了缓解模态差异,研究人员提出了很多有效的解决方法.但是由于这些方法提取的是不同模态之间的特征,彼此缺少对应的模态信息,导致特征缺少充分的鉴别性.为了提高模型提取特征的鉴别性,本文提出基于注意力特征融合的跨模态行人重识别方法.通过设计高效的特征提取网络和注意力融合模块,并在多种损失函数的优化下,实现不同模态信息的融合和模态对齐,从而促进模型匹配行人准确度的提升.实验结果表明,本方法在多个数据集上都取得了很好的性能.

关键词：跨模态行人重识别注意力机制特征融合模态差异模态对齐

同方期刊数据库

基于语义耦合和身份一致性的跨模态行人重识别方法

在线全文

学校读者我要写书评

暂无评论

吉林大学学报（工学版） 2022年第12期52卷 2954-2963页

作者：侯春萍杨庆元黄美艳王致芃天津大学电气自动化与信息工程学院天津300072

针对跨模态行人重识别面临的较大跨模态差异和类内变化的问题,提出了一种基于语义耦合和身份一致性的跨模态行人重识别方法。在语义层面,通过双向耦合不同模态的语义特征,实现不同模态间语义的交互融合,有效缓解了跨模态差异;在行人身... 详细信息

针对跨模态行人重识别面临的较大跨模态差异和类内变化的问题,提出了一种基于语义耦合和身份一致性的跨模态行人重识别方法。在语义层面,通过双向耦合不同模态的语义特征,实现不同模态间语义的交互融合,有效缓解了跨模态差异;在行人身份层面,通过优化跨模态三元组损失和身份损失,实现类内身份信息一致性,有效缓解了类内变化问题。实验结果表明,本文算法能够有效提升跨模态行人重识别精度,与基线方法相比,Top-1和mAP指标精度提升了10%以上。

关键词：计算机应用跨模态行人重识别深度学习语义耦合身份一致性约束

模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别

在线全文

学校读者我要写书评

暂无评论

模式识别与人工智能 2022年第12期35卷 1064-1077页

作者：石林波李华锋张亚飞谢明鸿昆明理工大学信息工程与自动化学院昆明650504

跨模态行人重识别方法主要通过对齐不同模态的像素分布或特征分布以缓解模态差异,却忽略具有判别性的行人细粒度信息.为了获取不受模态差异影响且更具判别性的行人特征,文中提出模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人... 详细信息

跨模态行人重识别方法主要通过对齐不同模态的像素分布或特征分布以缓解模态差异,却忽略具有判别性的行人细粒度信息.为了获取不受模态差异影响且更具判别性的行人特征,文中提出模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别方法.方法主要包括模态不变性特征学习模块和语义一致的细粒度信息挖掘模块,联合两个模块,使特征提取网络获取具有判别性的特征.具体地,首先利用模态不变性特征学习模块去除特征图中的模态信息,缓解模态差异.然后,使用语义一致的细粒度信息挖掘模块,对特征图分别进行通道分组和水平分块,在充分挖掘具有判别性的细粒度信息的同时实现语义对齐.实验表明,文中方法性能较优.

关键词：跨模态行人重识别模态差异细粒度信息语义一致性

在线全文

学校读者我要写书评

暂无评论

跨模态行人重识别研究与展望

计算机系统应用 2020年第10期29卷 20-28页

作者：陈丹李永忠于沛泽邵长斌江苏科技大学计算机科学与技术系镇江212003 南京大学计算机学院南京210023

行人重识别是计算机视觉的热门研究方向,其对智能安防、视频监控的发展有着重大意义.目前大部分工作主要集中在研究基于可见光的行人重识别,然而可见光摄像头无法在光线不足的黑夜中正常使用,而新型摄像头能够随机切换红外模式进行24小... 详细信息

行人重识别是计算机视觉的热门研究方向,其对智能安防、视频监控的发展有着重大意义.目前大部分工作主要集中在研究基于可见光的行人重识别,然而可见光摄像头无法在光线不足的黑夜中正常使用,而新型摄像头能够随机切换红外模式进行24小时视频监控,因此最近有一些工作对RGB-IR跨模态行人重识别问题进行了研究.本文分别从定义、研究难点和发展现状介绍了跨模态行人重识别问题,并根据不同的技术类型将目前存在的方法分为三类,即基于统一特征模型的方法;基于度量学习的方法;基于模态转换的方法.本文也详细介绍了该任务的数据集和评价准则,并对现有算法的性能进行分析与归纳.最后,总结了跨模态行人重识别的未来发展方向.

关键词：跨模态行人重识别红外图像统一特征模型度量学习模态转换

在线全文

学校读者我要写书评

暂无评论

基于多维互信息特征的跨模态行人重识别方法

实验技术与管理 2023年第12期40卷 82-91页

作者：吴林涛王文明北京理工大学计算机学院北京100081

针对如何缓解跨模态行人重识别任务中行人模态之间的差异性问题,提出一种随机通道邻近数据增强方法RCNA和一种结合多维互信息的U型网络UMME。RCNA通过选取同类别的可见光图像和红外图像进行数据增强生成新的行人图像,既满足了真实数据分... 详细信息

针对如何缓解跨模态行人重识别任务中行人模态之间的差异性问题,提出一种随机通道邻近数据增强方法RCNA和一种结合多维互信息的U型网络UMME。RCNA通过选取同类别的可见光图像和红外图像进行数据增强生成新的行人图像,既满足了真实数据分布,又融合了可见光图像的形状和结构信息以及红外图像的语义信息,缓解了可见光图像与红外图像之间的模态差异性。UMME通过互信息提取模块UMI提取同类别行人之间的互信息特征,再经过特征整合模块MSIF将互信息特征嵌入语义特征,增强了同类别行人之间语义特征的一致性。所提出的方法在数据集SYSU-MM01和RegDB上的Rank-1和mAP分别达到70.48%、68.34%和91.70%、88.42%,与现有研究方法相比,取得了优异的识别效果。

关键词：跨模态行人重识别深度学习数据增强互信息

在线全文

学校读者我要写书评

暂无评论

跨模态行人重识别研究综述

电视技术 2022年第5期46卷 9-11页

作者：刘玉林昆明理工大学信息工程与自动化学院云南昆明650500

跨模态行人重识别,又称可见光-红外行人重识别,是一项在可见光图像与红外图像间进行行人识别与检索的技术。该技术作为视频智能监控系统的核心关键技术之一,目前在安防监控和疑犯追踪等领域被迫切需要。近年来,随着新型摄像头(可在弱光... 详细信息

跨模态行人重识别,又称可见光-红外行人重识别,是一项在可见光图像与红外图像间进行行人识别与检索的技术。该技术作为视频智能监控系统的核心关键技术之一,目前在安防监控和疑犯追踪等领域被迫切需要。近年来,随着新型摄像头(可在弱光环境下自动切换到红外模式,拍摄红外图像)逐渐代替可见光摄像头并普及起来,跨模态行人重识别得到了学术界和工业界的广泛关注并取得显著的发展。对此,本文分别对跨模态行人重识别的概念以及相关研究进行介绍与分析,并对目前相关研究工作所存在的问题进行总结与展望。

关键词：跨模态行人重识别双流网络生成对抗网络模态差异