检索结果-南通市图书馆

作者：刘梅玲中南民族大学

学位级别：硕士

伴随着无线通信技术的蓬勃发展,人们发现无线信号拥有在感知范围内识别人体手势的能力。基于WiFi的手势识别技术以其不额外携带设备、不侵犯隐私等优点,成为智能家居的重要组成部分,促使人们在这一领域投入越来越多的关注。该技术的基... 详细信息

伴随着无线通信技术的蓬勃发展,人们发现无线信号拥有在感知范围内识别人体手势的能力。基于WiFi的手势识别技术以其不额外携带设备、不侵犯隐私等优点,成为智能家居的重要组成部分,促使人们在这一领域投入越来越多的关注。该技术的基本原理是,WiFi信号的传播路径受到人体运动的影响,使反射信号表现出与不同的活动有关的特征,而多普勒频移(Doppler Frequency Shift,DFS)可以反映这一特征,所以可以通过建立DFS与手势动作之间的联系来进行手势识别。然而,由于在实际情况中,WiFi信号能够灵敏的感知周围环境的变化,使得基于WiFi信号的手势识别技术的发展与应用受到了部分限制,即在用户所处位置等环境因素发生明显的改变时,特定位置上训练完成的模型在其它位置的数据上很难实现较为理想的效果。因此在实际应用中如何实现位置无关的手势识别仍然是一个挑战。本文根据用户在进行手势动作时因位置变化而造成的模型识别精度降低的问题,提供了一种基于WiFi信号的位置无关的手势识别方法。本文的主要工作内容如下:(1)本文通过分析室内环境下,菲涅尔区中人体所做的各种手势动作引起WiFi信号的对应变化关系,对信道状态信息(Channel State Information,CSI)进行去噪和相位处理,通过主成分分析(Principal Component Analysis,PCA)获取前两个主成分以增加输入的特征,并利用时频分析方法可视化DFS,以此作为神经网络模型的特征输入。根据小波变换相关理论,本文设计了一种基于小波卷积网络的手势识别模型,将卷积神经网络(Convolutional Neural Network,CNN)的第一层卷积用小波卷积层替代。最终的实验结果表明,该方法在小波卷积层的作用下,在公共数据集和自采数据集上的识别精度分别可达94.3%和90%。(2)为了解决WiFi信号所具有的位置依赖性问题,本文设计了一种基于迁移学习的模型结构,通过将卷积网络参数固定和全连接层参数更新的方式,以实现位置无关的手势识别任务,并且利用数据增强的方式提升整体的手势识别准确率。实验结果表明,该方法在没有经过训练的新位置上的识别准确率能达到89.3%。

关键词：手势识别 DFS 迁移学习小波卷积网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

视频会议系统移动终端自适应编码设计与实现

视频会议系统移动终端自适应编码设计与实现

作者：杨辉中南民族大学

学位级别：硕士

目前，市面上的视频会议系统终端产品种类繁多，而大多数产品体积大而且需要专网专供，位置不易移动，其高昂的成本是中小企业无法承受的。因此面向中小企业的视频会议系统中方便携带的移动终端产品是具有相当的竞争力的。针对这一市场... 详细信息

目前，市面上的视频会议系统终端产品种类繁多，而大多数产品体积大而且需要专网专供，位置不易移动，其高昂的成本是中小企业无法承受的。因此面向中小企业的视频会议系统中方便携带的移动终端产品是具有相当的竞争力的。针对这一市场需求，以现有的H.264/SVC技术为指导思想，科研小组以价格低廉的TS320DM642为开发平台，设计了一种可移动便携式视频会议终端，作者在该移动终端中的音视频数字处理模块上采用了基于三维小波的全方位可伸缩视频编码（SVC），实现了在复杂网络环境情况下视频码流的自适应传输，保证了视频会议中传输画面的流畅性和稳定性。在分别对时间、空间和质量上单一的可伸缩视频编码结构做了深入研究之后，本文提出了一种自适应编码策略和一种基于三维小波全方位可伸缩视频编译码系统结构，主要包括：运动补偿滤波（MCTF），二维离散小波变换（2D-DWT），质量（PSNR）编码和数据打包。视频序列首先经过多层的MCTF变换去除时间上的冗余，实现时间上的可伸缩性（帧速率）;然后经过2D-DWT处理去除空间上的冗余，实现空间的可伸缩性（分辨率）;最后进行嵌入式零树小波编码（EZW）编码，实现质量上的可伸缩性，再经数据打包形成数据流，通过通道的传输，数据流在送到解码端重建原始视频序列，便同时实现了时间、空间和质量三方面的可伸缩性。本文采用MATLAB进行仿真，最后在DM642开发平台上进行测试，并在终端进行译码重建视频序列。本文设计的基于三维小波全方位可伸缩性和自适应视频编码方案，使得视频会议移动终端能够在不同的网络环境下成功加入视频会议并进行交流互动。测试表明该编码方案输出的码流具有良好的网络适应能力，为进一步的开发奠定了基础。

关键词：视频会议移动终端三维小波 SVC 自适应传输

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于CSI的室内轨迹跟踪技术研究

基于CSI的室内轨迹跟踪技术研究

作者：李宪军中南民族大学

学位级别：硕士

基于信道状态信息（Channel State Information,CSI）的室内轨迹跟踪技术近几年来备受关注,在很多方面应用广泛,例如智能家居、安全监控和行为分析等。然而,大多数研究者使用学习训练的方法对轨迹进行分类识别,并不支持实时的轨迹跟踪,... 详细信息

基于信道状态信息（Channel State Information,CSI）的室内轨迹跟踪技术近几年来备受关注,在很多方面应用广泛,例如智能家居、安全监控和行为分析等。然而,大多数研究者使用学习训练的方法对轨迹进行分类识别,并不支持实时的轨迹跟踪,对环境的适应能力也很差。本文搭建了一发一收的室内轨迹跟踪系统,仅利用现有商用Wi Fi设备实现了实时的轨迹跟踪。更详细地说,就是采用一台路由器作为发射端,一台装有CSI-TOOL的台式电脑作为接收端,仅需使用商用Wi Fi设备,用户也无需携带任何设备,主要利用采集到的CSI数据建立统一的基于CSI的多参数估计模型,随后通过联合估计算法计算来自模型中的多维参数,包括到达角度（Angle of Arrival,Ao A）、飞行时间（Time of Flight,To F）、多普勒频移（Doppler Frequency Shift,DFS）等,这些多维参数信息可以用来转化为相应的位置信息。此外,本文利用静态路径中包含的环境动态参数来修正定位参数的方法,达到了更为精准的轨迹跟踪效果。实验表明,本文所搭建的轨迹跟踪系统其定位精度可以达到0.65m,证实了该系统能精确有效地实现室内轨迹的跟踪定位。本文的主要工作内容和贡献如下:（1）由于室内环境复杂、商用Wi Fi设备容易受到室内温度等多方面影响,采集到CSI数据并不能直接应用于室内轨迹的计算中。为了解决这一问题,本文对采集到的CSI数据先后进行了幅值和相位的处理。具体来说,对CSI的幅值信息处理包括:分别利用汉佩尔（Hampel）滤波器和巴特沃斯（Butterworth）低通滤波器去除CSI中的异常值和噪声值;对CSI的相位信息处理包括:通过分析引起相位噪声的原因,并对比了线性相位矫正与共轭乘法相位矫正这两种算法的场景适应性,选用了更适用于矫正连续CSI数据的共轭乘法对采集到的CSI数据进行相位矫正。处理后的CSI信息中噪声部分与轨迹部分分离更干净,为后续基于CSI的研究与应用提供了坚实的基础。（2）本文搭建了一个完整的轨迹跟踪体系,仅使用一发一收的商用Wi Fi设备,利用基于CSI的多参数估计模型得到多维参数信息包括Ao A、To F、DFS等,再进一步转化为相应的位置信息。相比其他需要提前学习训练来进行分类从而实现轨迹跟踪的系统,例如指纹识别系统,实现了实时的轨迹跟踪。并达到了0.65m的定位精度,为Wi Fi室内定位的商用化奠定了理论基础。（3）本文采用从轨迹数据中分离出环境动态信息来修正定位参数的方法,并通过实验数据以及结果的对比,保证了该方法与其他方法相比更具有实时性,实验处理更为简便,对环境变化的适应能力也更强。例如,实验配置一台电脑,环境数据需要提前采集;实验配置两台电脑,有一台电脑专门用来采集环境数据;实验配置一台电脑,利用静态路径中包含的环境参数的均值（对于同一环境来说是恒定值）来修正定位信息等。（4）本文通过对比现有的轨迹跟踪系统,确保了本方案所采用的轨迹跟踪系统的精确性。其次,在保证精确性的同时,又对本方案的环境适应性进行了一定的实验验证,保证了在不同实验人员、不同行走速度、不同发包率下系统的稳健性。

关键词：信道状态信息(CSI) 室内轨迹跟踪定位多参数估计环境参数

基于时空图卷积神经网络的人体骨架动作识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空图卷积神经网络的人体骨架动作识别研究

作者：张芷蒙中南民族大学

学位级别：硕士

近年来,视频动作识别一直是计算机视觉领域内一个高度活跃的研究领域。视频骨架数据既能在动态变化的环境或背景下提供更为紧凑和准确的信息,又能减少存储成本和计算代价,因此越来越多的研究人员开始尝试利用骨架模型来进行动作识别。... 详细信息

近年来,视频动作识别一直是计算机视觉领域内一个高度活跃的研究领域。视频骨架数据既能在动态变化的环境或背景下提供更为紧凑和准确的信息,又能减少存储成本和计算代价,因此越来越多的研究人员开始尝试利用骨架模型来进行动作识别。图卷积神经网络(Graph Convolutional Neural Network,GCN)的引入是解决骨架动作识别问题的有效尝试,该方法将骨架数据建模成以关节点为顶点,以骨骼为边的时空图模型。然而,现实场景中的人体运动存在其复杂性和多样性,传统的GCN已经不能满足精确地分析人体运动模式的需要,此外,骨架数据自身也存在一定的局限性,比如噪声和遮挡问题等,这一系列问题使得人体骨架动作识别技术面临着巨大的挑战。因此,针对基于GCN的骨架动作识别的传统方法中的部分局限性,本文进行了相应的创新性研究,其主要工作如下:(1)基于高斯噪声扰动的动作识别方法。传统的基于GCN的骨架动作识别通常使用人工预定义的邻接矩阵来表示相邻关节点之间的连接关系,这种简单的预设结构忽略了非相邻关节点之间存在的某些重要联系,也不能与神经网络这种自学习的模式很好地融合。针对这一局限性,本文提出一种基于高斯噪声的扰动机制,旨在优化骨架数据的空间结构,有效地挖掘出人体骨架空间结构中非相邻关节点之间的信息。在NTU RGB+D和Kinetics-Skeleton两个数据集上的实验结果表明,该方法在节约计算量的前提下,提高了动作识别的性能。(2)基于双流数据选择模块的动作识别方法。传统的基于GCN的骨架动作识别方法忽略了骨架数据中丰富的时空信息,且骨架数据本身也存在着一些局限性,因此,本文设计了一种数据选择模块,该模块从骨架数据的三维度出发,针对不同骨架样本的特点,对不同维度的通道的重要程度进行加权,使网络有效地关注更具代表性的特征,同时在网络中添加骨架数据的帧间差作为运动流以补充时间维度的信息,然后利用双流数据选择模块同时挖掘时空信息并进行人体骨架动作识别。在两个数据集上的大量实验表明,该方法可以进一步提高骨架动作识别的性能,其识别精度高达96.14%和61.0%,达到了该领域的先进水平。

关键词：动作识别图卷积网络 3D人体骨架高斯噪声

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

H.264压缩域目标分割与跟踪

H.264压缩域目标分割与跟踪

作者：岳映君中南民族大学

学位级别：硕士

视频目标分割和跟踪是许多计算机视觉应用的重要组成部分,如基于运动的识别,人机交互,自动监视和交通监控这些方面。分割就是将图像帧中的前景区域从背景中分离出来。跟踪可以被定义为当图像平面在场景周围移动时估计物体运动轨迹的问... 详细信息

视频目标分割和跟踪是许多计算机视觉应用的重要组成部分,如基于运动的识别,人机交互,自动监视和交通监控这些方面。分割就是将图像帧中的前景区域从背景中分离出来。跟踪可以被定义为当图像平面在场景周围移动时估计物体运动轨迹的问题。分割和跟踪算法可根据其操作域分为两大类:像素域算法和压缩域算法。像素域算法的特点是精确度高,但计算复杂度高。较高的计算复杂度会限制其在需要并行处理若干视频流的场景中的应用。压缩域算法使用压缩视频比特流中编码的数据,诸如运动矢量,块编码模式或运动补偿预测残差的变换系数。压缩域算法避免了视频完全解码,通常具有较低的计算成本。本文分别介绍了在压缩域中进行的视频目标分割方法和视频目标跟踪算法,主要工作如下:1.设计了一种基于块编码模式的边界细化方法。算法基本框架是,将具有非零运动矢量的块聚集到连接的前景区域中,运用目标区域跟踪以去除前景区域中的噪声区域。通过使用块编码模式进一步细化边界区域,提高了算法的分割精度。2.利用压缩域的I帧信息在基于时空马尔科夫模型的跟踪算法上对目标进行跟踪,该算法仅使用MV和块编码模式,利用运动目标的空间和时间相关性进行逐帧跟踪。在完成每个图像组之后利用压缩域I帧信息更新标记场,该算法改善了由于误差累积造成的跟踪精度下降问题。3.基于H.264块尺度不同的特点,实验验证了在不同分块尺度下基于时空马尔科夫模型的目标跟踪方法的跟踪结果的不同。结果表明,分块越小,精度越高,对于运动模式不同的目标,跟踪结果也有差异。为以后的动态分块跟踪打下基础。

关键词：目标分割目标跟踪 H.264/AVC压缩域运动矢量

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

用于视频检索的人脸识别方法研究

用于视频检索的人脸识别方法研究

作者：任光兴中南民族大学

学位级别：硕士

随着科学技术的进步,人类正在快速进入信息化时代。以视频为代表的多媒体信息丰富了人们的生活,为人们的生活提供了安全保障;然而另一方面,如何管理和使用这些海量的视频数据给人们提出了挑战。由于当前视频主要以人物为主,随着国内外... 详细信息

随着科学技术的进步,人类正在快速进入信息化时代。以视频为代表的多媒体信息丰富了人们的生活,为人们的生活提供了安全保障;然而另一方面,如何管理和使用这些海量的视频数据给人们提出了挑战。由于当前视频主要以人物为主,随着国内外关于人脸识别技术的发展,以人脸作为摘要信息来实现视频检索功能将能大大方便人们管理和使用海量的视频数据。尽管当前人脸识别方法很多,但是视频数据中的数据量大,对计算速度要求很高,能满足视频检索的人脸识别方法很少。基于局部二值模式(LBP)的人脸识别方法计算简单高效,能满足视频检索对人脸识别的要求。但是在光照和背景的剧烈变化下,传统的基于LBP的人脸识别方法的人脸识别率急剧下降。为了提高在光照和背景剧烈变化条件下的人脸识别率,本文对传统的基于LBP的人脸识别方法进行了研究和改进。仿真结果表明,改进后的人脸识别方法提高了在光照和背景剧烈变化条件下的人脸识别率。本文主要工作和创新点如下:1.本文提出了一种采用自适应阈值的多阈值LBP人脸识别算法。该算法解决了原始LBP人脸识别算法只考虑了人脸细节部分的变化而忽略了人脸轮廓信息的缺点。此外,传统基于多阈值LPB的人脸识别方法在提取人脸识别梯度及轮廓信息时的固定阈值设置,导致人脸识别率在剧烈变化的光照和背景条件下急剧下降。而本文算法中的阈值是通过计算人脸图像3*3邻域周围像素与中心像素的平均绝对差自适应得到,解决了这一不足。2.本文提出了一种基于局部熵的分块加权人脸识别算法。该算法考虑到人脸各器官对人脸识别的贡献大小不一,从信息论中信息量的角度考虑,计算每一块人脸图像的局部熵并归一化处理后作为人脸各个分块的权值进行人脸识别。同时,以人脸图像分块的局部熵作为各个分块的权值降低了光照剧烈变化造成的损坏人脸块对人脸识别结果的影响。仿真结果表明该算法显著提高了人脸识别率。3.本文对该算法进行了仿真对比。在不同人脸库上的实验验证了本文算法提高了光照和背景剧烈变化条件下的人脸识别率。

关键词：视频检索人脸识别局部二值模式(LBP) 自适应阈值熵

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于粒子滤波的视频压缩域目标跟踪算法研究

基于粒子滤波的视频压缩域目标跟踪算法研究

作者：景慕甜中南民族大学

学位级别：硕士

在计算机视觉领域,视频运动对象跟踪历来是研究的热点和难点,随着视频序列来跟踪人们感兴趣的运动对象,该技术被广泛应用于视频会议、视频检索、智能监控以及模式识别等相关领域。视觉目标跟踪可以定义为获取目标的运动参数来估计运动... 详细信息

在计算机视觉领域,视频运动对象跟踪历来是研究的热点和难点,随着视频序列来跟踪人们感兴趣的运动对象,该技术被广泛应用于视频会议、视频检索、智能监控以及模式识别等相关领域。视觉目标跟踪可以定义为获取目标的运动参数来估计运动物体的轨迹。跟踪算法的操作域分为两大类:像素域和压缩域。在像素域中的算法需要处理海量的信息,数据在进行并行处理若干视频时会限制其实时性。在压缩域中的算法使用的是压缩视频比特流中的数据,其数据信息是基于块的,因此其中的信息数量远少于像素域中基于像素的信息数量,在进行视频信息处理时的运算开销能大大减少。在实际视频应用中,视频都是经过了不同格式的压缩,常利用部分解码后的运动矢量、块编码模式、残差变换系数等有用信息进行处理,相比于像素域完全解码视频并重新进行信息处理来看,极大减少了处理视频信息的运算开销。本文主要基于粒子滤波的视频压缩域运动目标跟踪算法研究,主要工作如下:1.分析H.264/AVC视频编码框架,从压缩码流中提取出能表示目标运动信息的矢量特征以及宏块层信息,对运动矢量进行预处理,得到与运动目标真实运动最为相似的运动矢量场。2.设计了一种基于粒子滤波的压缩域目标跟踪方法。该算法使用运动矢量和块编码模式,利用时间和空间相关性为系统观测值,对目标状态进行估计,可实现近匀速运动和背景变化的场景下的运动目标跟踪。实验结果表明,与压缩域中时空马尔可夫模型对比表明跟踪精度大大提升,与像素域中的粒子滤波算法对比表明,处理速度大大提高。3.设计了一种基于显著区域检测的粒子滤波跟踪方法,以应对目标突变运动跟踪问题。利用运动矢量熵和平滑残差范数得到显著性区域。当目标突然运动并跟踪丢失时,可在显著性区域及时更新定位到目标位置。该算法改善了由于突然运动带来的目标丢失问题。

关键词：目标跟踪压缩域运动矢量粒子滤波

基于时空马尔科夫模型的H.264压缩域目标跟踪

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空马尔科夫模型的H.264压缩域目标跟踪

作者：郭楚瑜中南民族大学

学位级别：硕士

视频目标跟踪是计算机视觉、人工智能等领域的研究热点,在视频检索、视频分析、模式识别等方面有重要的研究价值。根据操作域的不同,目标跟踪算法分为像素域算法和压缩域算法。像素域算法将视频完全解码成图像帧,然后利用像素域信息进... 详细信息

视频目标跟踪是计算机视觉、人工智能等领域的研究热点,在视频检索、视频分析、模式识别等方面有重要的研究价值。根据操作域的不同,目标跟踪算法分为像素域算法和压缩域算法。像素域算法将视频完全解码成图像帧,然后利用像素域信息进行目标跟踪。大部分像素域算法没有直接的目标运动信息,通过在下一帧中搜索与目标特征相似的区域定位目标从而完成跟踪,所以计算复杂度高,难以实时。视频压缩过程中产生了有利于目标跟踪的信息,如运动矢量(MV)和离散余弦变换(DCT)系数,MV反映了宏块在相邻帧之间的位移,DCT系数反映了图像的纹理。压缩域算法对视频进行部分解码就可以提取MV和DCT系数,既获得了有用的目标跟踪信息,又减少了解码时间。本文在H.264压缩域中建立时空马尔科夫模型对目标进行跟踪,主要工作有以下几点:1.提出了基于像素运动矢量的跟踪算法。基于块运动矢量的跟踪算法可实现一定程度的跟踪,但是,随着帧数的增加,跟踪准确率会大幅度下降。针对这种情况,提出了像素运动矢量算法,该算法明显提高了跟踪准确率,避免了大幅度下降的问题,但依然存在准确率缓慢下降的现象。通过两个算法的对比试验,更加深入地了解了MV的时域特性及其在跟踪上的缺陷。2.将像素运动矢量算法作为MV时域特性与MV空域特性结合,融入马尔科夫随机场框架,通过最大化后验概率标记宏块是否是目标块,确定目标位置,逐帧循环实现跟踪。该算法首先对MV进行预处理,接着对跟踪问题建立时空马尔科夫模型,并用贝叶斯框架归结为:块的标号类别取决于其时域连续度、空域一致性和紧密度的加权和。其中,时域连续度的计算采用像素运动矢量算法。通过实验对比,表明该算法可以提高跟踪准确率。

关键词：目标跟踪 H.264压缩域时空马尔科夫模型运动矢量

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于CSI指纹的被动式室内定位研究

基于CSI指纹的被动式室内定位研究

作者：王妙羽中南民族大学

学位级别：硕士

随着物联网的兴起,基于室内位置的服务受到广泛关注。利用现有的室内WiFi设备进行室内定位,避免了传统室内定位技术部署成本高、存在监测盲区以及侵犯隐私等缺点。基于接收信号强度指示（Received Signal Strength Indicator,简称RSSI... 详细信息

随着物联网的兴起,基于室内位置的服务受到广泛关注。利用现有的室内WiFi设备进行室内定位,避免了传统室内定位技术部署成本高、存在监测盲区以及侵犯隐私等缺点。基于接收信号强度指示（Received Signal Strength Indicator,简称RSSI）的室内定位技术,由于环境中多径效应的影响,导致其定位精度较低。物理层的信道状态信息（Channel State Information,简称CSI）可以细粒度地表示空间域中不同位置的信号特征,已提出的CSI室内定位方案主要在适用性和定位精度等方面进行不断地创新和改进。本文主要工作和贡献如下:1)本文提出了一种利用CSI幅值和相位信息作为指纹的室内定位方案,被定位对象无需携带任何具有信号发射功能的设备。本方案搭建了一发多收的实验平台采集CSI数据,在信号预处理阶段,对CSI幅值进行奇异值去除与低通滤波,用线性拟合的方法对CSI相位进行校正。将处理得到的CSI幅值和相位信息作为指纹,通过基于深度学习的全连接分类神经网络对指纹样本进行训练,并与采集到的实时数据进行匹配识别。实验表明,采用CSI幅值和相位定位的方法,能够提高定位识别率和精确度,室内定位精度达到0.6m,位置识别率达到98%。2)本文尝试在三维实验场景下进行CSI数据采集。三维实验场景利用不同高度的接收端,增加了空间维度信息,提高了空间覆盖率。通过对比人对不同高度接收端CSI各子载波信号的影响,可初步判断被测对象的高度信息,这为后续进行入侵目标特征识别提供了基础。3)本文采用基于深度学习的神经网络分类算法,对预处理后的CSI样本的幅值和相位进行训练。为了降低计算复杂度,本文设计了一种基于深度学习的较简单、基本的全连接分类神经网络模型,经过多次实验,选取合适的训练数据量,达到了较低的计算复杂度与较高的定位精度。

关键词： CSI指纹室内定位三维场景神经网络

视频监控场景下的可见光—红外行人重识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

视频监控场景下的可见光—红外行人重识别研究

作者：潘惠珊中南民族大学

学位级别：硕士

随着智能视频监控的不断发展,行人重识别成为计算机视觉领域的热门研究方向。传统的行人重识别方法主要聚焦在可见光领域,当行人在夜间或者光线比较弱时,该方法在智能视频监控中的应用就会受到限制。为了解决这个问题,可见光-红外行人... 详细信息

随着智能视频监控的不断发展,行人重识别成为计算机视觉领域的热门研究方向。传统的行人重识别方法主要聚焦在可见光领域,当行人在夜间或者光线比较弱时,该方法在智能视频监控中的应用就会受到限制。为了解决这个问题,可见光-红外行人重识别(Visible-infrared Person Re-identification,VI Re-ID)受到了研究者们的广泛关注。在智能视频监控中,可见光图像和红外图像存在模态差异,且目前的可见光-红外行人重识别只专注于图像下的研究,不利用视频中的时间信息。针对上述问题,本文从基于图像和基于视频两个角度来研究可见光-红外行人重识别:1、为了缓解模态差异,本文提出了一个动态加权梯度反转网络(Dynamic Weighted Gradient Reversal Network,DGRNet),通过混淆模态判别来增强对判别性特征表示的学习。所提出的DGRNet主要思想是通过梯度反转来指导模态鉴别器和特征提取部分进行对抗训练,从而混淆同一行人在不同模态下的特征,减少模态差异。同时,为了进一步减少模态差异,为梯度反转设计了一个动态权重,该动态权重能够动态和自适应地评估目标损失项的相对重要性,在不涉及任何超级参数调整的前提下,实现网络的最优对抗训练,从而更好地混淆不同模态下的行人特征,增强对判别性特征表示的学习。2、针对现有的可见光-红外行人重识别方法缺少时间信息的问题,本文对基于视频的可见光-红外行人重识别方法进行了研究,构建了一个基于视频的可见光-红外行人重识别数据集,进而设计了一种基于视频的可见光-红外行人重识别基线网络。该网络首先使用双流架构提取模态特异性信息和模态共享信息,并且为了进一步减少模态差异,使用动态加权梯度反转来指导网络进行对抗训练,从而学习到判别性特征表示,最后为了利用视频数据中的时间信息,使用时间建模模型对高维特征进行时间建模,提升行人重识别精度。

关键词：可见光-红外行人重识别动态权重梯度反转时间信息