检索结果-南通市图书馆

面向青花瓷碎片图像的U-Net++拼接网络

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2024年第3期36卷 379-387页

作者：张海波寇姣姣杨兴海琳琦周明全耿国华西北大学信息科学与技术学院西安710127 北京师范大学信息科学与技术学院北京100875

针对现有图像拼接方法存在拼接处伪影以及非重叠区域内容失真,导致较低的准确性和鲁棒性的问题,提出一种基于U-Net++消除伪影的青花瓷碎片图像拼接方法.首先估计待拼接图像单应性矩阵;然后将单应性矩阵应用于结构拼接阶段,得到图像粗拼... 详细信息

针对现有图像拼接方法存在拼接处伪影以及非重叠区域内容失真,导致较低的准确性和鲁棒性的问题,提出一种基于U-Net++消除伪影的青花瓷碎片图像拼接方法.首先估计待拼接图像单应性矩阵;然后将单应性矩阵应用于结构拼接阶段,得到图像粗拼接结果;最后以图像粗拼接结果作为先验信息,在内容校正阶段改进现有的U-Net,利用U-Net++细化粗拼接结果,得到最终图像精确拼接.以青花瓷碎片图像数据集与相关经典方法进行实验的结果表明,在3个评价指标中,所提方法的峰值信噪比提高约13%,均方根误差降低约33%,均方误差降低57%左右;该方法具有较小的误差比,不仅能够提高图像拼接质量,而且表现出较好的鲁棒性.

关键词：图像拼接 U-Net++ 单应性矩阵估计内容校正青花瓷碎片

在线全文

学校读者我要写书评

暂无评论

基于时空交并比约束的目标跟踪对抗防御方法

模式识别与人工智能 2024年第5期37卷 410-423页

作者：盛晶晶张大伟蔡听依肖昕郑忠龙蒋云良浙江师范大学计算机科学与技术学院金华321004 浙江师范大学浙江省智能教育技术与应用重点实验室金华321004

随着深度学习在视觉跟踪领域的广泛应用,对抗攻击逐渐成为影响方法性能的关键因素之一,然而针对对抗攻击的防御方法研究还处于初始阶段.因此,文中提出基于时空交并比约束的目标跟踪对抗防御方法.首先,在对抗样本上随机添加高斯噪声约束... 详细信息

随着深度学习在视觉跟踪领域的广泛应用,对抗攻击逐渐成为影响方法性能的关键因素之一,然而针对对抗攻击的防御方法研究还处于初始阶段.因此,文中提出基于时空交并比约束的目标跟踪对抗防御方法.首先,在对抗样本上随机添加高斯噪声约束.然后,根据噪声等高线的切线方向,选择噪声等级相同且时空交并比分数最高的切线约束.通过其法线约束使防御目标向原始图像的方向更新,并将法线约束和切线约束进行正交组合优化.最后,经过不断迭代,选择具有最高时空交并比分数且噪声等级最低的组合向量作为最佳约束,添至对抗样本图像中,同时传递给下一帧图像,从而实现时序防御.在VOT2018、OTB100、GOT-10k、LaSOT跟踪数据集上的实验验证文中方法的有效性.

关键词：目标跟踪对抗防御对抗攻击时空交并比

在线全文

学校读者我要写书评

暂无评论

RGB-D目标跟踪综述

计算机辅助设计与图形学学报 2024年

作者：欧洲应舸张大伟郑忠龙浙江师范大学计算机科学与技术学院

近年来，随着深度学习的不断发展，已有许多基于深度学习的RGB目标跟踪算法被提出且取得较为显著的性能，但纯粹依靠可见光进行跟踪的算法在光照变化、背景干扰、严重遮挡等复杂场景下仍难以实现鲁棒跟踪. 为解决高难度场景下的挑战... 详细信息

近年来，随着深度学习的不断发展，已有许多基于深度学习的RGB目标跟踪算法被提出且取得较为显著的性能，但纯粹依靠可见光进行跟踪的算法在光照变化、背景干扰、严重遮挡等复杂场景下仍难以实现鲁棒跟踪. 为解决高难度场景下的挑战，实现高效鲁棒的目标跟踪，多模态目标跟踪应运而生. 本文以RGB-D目标跟踪算法为主，详细列举了当前可见光-深度的多模态目标跟踪算法，对各类算法的优缺点进行分析和比较; 并介绍了主流的RGB-D目标跟踪数据集，挑战赛及其评价指标; 最后总结了RGB-D目标跟踪技术的发展趋势和挑战，并展望其未来的发展方向: 特殊场景RGB-D数据集建设、全新RGB-D目标跟踪评估范式和有效模态融合的RGB-D模型范式.

关键词：目标跟踪多模态可见光-深度特征融合

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

联合傅里叶卷积与通道注意力的光场角度重建

光学精密工程 2024年第3期32卷 456-465页

作者：周涛郁梅陈晔曜蒋志迪蒋刚毅宁波大学信息科学与工程学院浙江宁波315211 宁波大学科学技术学院信息工程学院浙江宁波315212

光场相机能够同时捕获光线的强度和方向信息,但由于成像传感器尺寸的限制,无法同时获得高空间和角度分辨率的光场图像。提出了一种联合傅里叶卷积和通道注意力的光场角度重建方法,通过使用稀疏光场图像4个边角位置的参考视图,可以间接... 详细信息

光场相机能够同时捕获光线的强度和方向信息,但由于成像传感器尺寸的限制,无法同时获得高空间和角度分辨率的光场图像。提出了一种联合傅里叶卷积和通道注意力的光场角度重建方法,通过使用稀疏光场图像4个边角位置的参考视图,可以间接地重建出密集光场图像。考虑到光场数据的内在4D结构,采用通道级密集快速傅里叶残差卷积块,在空域和频域对光场图像的空间和角度相关性进行建模,然后采用基于全局响应归一化的通道注意块,以实现通道间的自适应融合。此外,还提出了一种改进的视点加权间接合成方法,通过为每个参考视图分配一个置信图,为参考视图之间建立联系以合成更真实的新视图。实验结果表明,相比于现有先进的光场角度重建算法IRVAE,所提方法的重建光场图像质量在自然光场数据集30Scenes,Occlusion和Reflective上的平均PSNR分别提高了0.08,0.13和0.13 dB。所提方法在保证光场角度一致性的前提下取得了清晰的重建结果。

关键词：光场角度重建傅里叶卷积全局响应归一化视点加权的间接合成

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

虚拟现实中视觉诱发晕动症时空多特征评价

光学精密工程 2024年第4期32卷 595-608页

作者：董奇峰郁梅蒋志迪鲁子昂蒋刚毅宁波大学信息科学与工程学院浙江宁波315211 宁波大学科学技术学院信息工程学院浙江宁波315212

沉浸式的虚拟现实体验中视觉诱发晕动症(Visually Induced Motion Sickness,VIMS)是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面,对运动信息的提取较为简单,且少有考虑时域上的突... 详细信息

沉浸式的虚拟现实体验中视觉诱发晕动症(Visually Induced Motion Sickness,VIMS)是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面,对运动信息的提取较为简单,且少有考虑时域上的突变对晕动症的影响。针对上述问题,提出了虚拟现实中视觉诱发晕动症时空多特征评价模型;基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型,采用更符合人眼感知的加权运动特征,并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明,该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能,验证了所提出特征提取模块的有效性。

关键词：虚拟现实立体全景视频晕动症运动感知突变特征

卷积神经网络与视觉Transformer联合驱动的跨层多尺度融合网络高光谱图像分类方法

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2024年第5期46卷 2237-2248页

作者：赵凤耿苗苗刘汉强张俊杰於俊西安邮电大学通信与信息工程学院西安710121 陕西师范大学计算机科学学院西安710119 中国科学技术大学信息科学技术学院合肥223700

高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复... 详细信息

高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复杂多样的结构,且不同地物之间存在尺度差异。现有的二者结合的方法通常对多尺度地物目标的纹理和结构信息的提取能力有限。为了克服上述局限性,该文提出CNN与视觉Transformer联合驱动的跨层多尺度融合网络HSI分类方法。首先,从结合CNN与视觉Transformer的角度出发,设计了跨层多尺度局部-全局特征提取模块分支,其主要由卷积嵌入的视觉Transformer和跨层特征融合模块构成。具体来说,卷积嵌入的视觉Transformer通过深度融合多尺度CNN与视觉Transformer实现了多尺度局部-全局特征信息的有效提取,从而增强网络对不同尺度地物的关注。进一步地,跨层特征融合模块深度聚合了不同层次的多尺度局部-全局特征信息,以综合考虑地物的浅层纹理信息和深层结构信息。其次,构建了分组多尺度卷积模块分支来挖掘HSI中密集光谱波段潜在的多尺度特征。最后,为了增强网络对HSI中局部波段细节和整体光谱信息的挖掘,设计了残差分组卷积模块对局部-全局光谱特征进行提取。Indian Pines, Houston 2013和Salinas Valley 3个HSI数据集上的实验结果证实了所提方法的有效性。

关键词：高光谱图像分类卷积神经网络视觉Transformer 多尺度特征融合网络

基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型

在线全文

学校读者我要写书评

暂无评论

计算机学报 2024年第9期47卷 2195-2210页

作者：林俊安包翠竹董建锋杨勋王勋浙江工商大学计算机科学与技术学院杭州310018 中国科学技术大学信息科学技术学院合肥230026

本文针对具有挑战性的多语言文本-视频跨模态检索问题进行研究.传统文本-视频跨模态检索模型通常针对单一语言进行设计,比如英语,模型仅支持某一特定语言的文本查询.如果有不同语言检索需求,则需另收集目标语言的训练数据并重新训练构... 详细信息

本文针对具有挑战性的多语言文本-视频跨模态检索问题进行研究.传统文本-视频跨模态检索模型通常针对单一语言进行设计,比如英语,模型仅支持某一特定语言的文本查询.如果有不同语言检索需求,则需另收集目标语言的训练数据并重新训练构建新的检索模型,这使得模型很难快速有效地适用于其他语言的检索任务.近年来,针对多语言问题的研究逐渐深入,这为多语言跨模态检索的实现打下了良好的基石.为了解决多语言跨模态检索问题,本文提出了一种简单有效的基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型,将不同语言与视觉信息映射到同一公共空间.该空间以视频向量为锚点,分别与不同的语言向量进行对齐,以此实现多语言跨模态的学习,由此建立了统一的多语言学习框架,使用一个模型满足了多语言的检索需求并探究了不平行语料库、平行语料库、伪平行语料库三种训练场景下的模型性能.同时,在多语言建模中有效地利用了不同语言之间的互通性和互补性,弥补了单语言文本特征表达的不足;并在文本端与视频端引入了基于对比学习的抗噪音鲁棒性学习方法,进一步提升了不同模态特征的表示能力.在VATEX、MSR-VTT多语言数据集上实验的数据证明,本文模型不仅能够简单快速地适用于多种语言检索任务,模型性能也较为突出,在较为常见的伪平行场景下和最先进的方法相比,中文VATEX和MSR-VTT在总召回率上分别提升了约5.97%和1.37%.

关键词：多语言跨模态检索跨模态特征表示对比学习

基于改进YOLOv8n航拍轻量化小目标检测算法：PECS-YOLO

在线全文

学校读者我要写书评

暂无评论

计算机工程 2024年

作者：王舒梦徐慧英朱信忠黄晓宋杰李毅浙江师范大学计算机科学与技术学院浙江师范大学教育学院

在无人机航拍中，目标通常是密集分布、特征不明显的小目标，且物体尺度变化较大。因此，目标检测容易出现漏检和误检的问题。为了解决这些问题，文章提出了一种基于改进YOLOv8n航拍轻量化小目标检测算法：PECS-YOLO。该算法通过在Neck... 详细信息

在无人机航拍中，目标通常是密集分布、特征不明显的小目标，且物体尺度变化较大。因此，目标检测容易出现漏检和误检的问题。为了解决这些问题，文章提出了一种基于改进YOLOv8n航拍轻量化小目标检测算法：PECS-YOLO。该算法通过在Neck部分增加P2小目标检测层，将浅层和深层的特征图进行拼接，更好捕捉小目标的细节信息；利用轻量化卷积PartialConv引入全新的结构CSPPC来替换Neck网络中的C2f，进行模型轻量化；通过结合SPP（Spatial Pyramid Pooling）和ELAN（Efficient Layer Aggregation Network）对空间金字塔池化结构进行改造，使模型能更有效捕捉小目标特征；通过在Neck部分每个检测头前加入SE注意力机制，使网络更好地关注有用的通道，减少复杂环境中背景噪声对小目标检测任务的干扰；最后使用EfficiCIoU Loss作为边界框损失函数，把边界框的形状差异也考虑在内，增强了模型对小目标的检测能力。实验结果表明，PECS-YOLO目标检测算法在VisDrone2019-DET数据集上的mAP@0.5提高了3.5%，mAP@0.5：0.95提高了3.7%，并且模型的参数量相比YOLOv8n降低了约25.7%，FPS增加了约65.2%。综上所述，PECS-YOLO模型适合于无人机航拍下的小目标检测任务。

关键词：小目标检测 YOLOv8n 无人机检测 SPPELAN 轻量化

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于改进YOLOv8的低光行人检测算法

计算机工程与科学 2024年

作者：徐广平徐慧英朱信忠黄晓王舒梦宋杰浙江师范大学计算机科学与技术学院浙江师范大学教育学院

内容针对目前主流低光行人检测框架因为此任务中的图像亮度和对比度不足的原因导致性能下降的问题，本文提出了RetinaHA-YOLOv8算法。该算法通过采用RetinexFormer作为前置处理模块来恢复受损图像，确保后续模型能够从增强后的图像中提... 详细信息

内容针对目前主流低光行人检测框架因为此任务中的图像亮度和对比度不足的原因导致性能下降的问题，本文提出了RetinaHA-YOLOv8算法。该算法通过采用RetinexFormer作为前置处理模块来恢复受损图像，确保后续模型能够从增强后的图像中提取到更加清晰和有用的特征；并利用Hybrid Attention Transformation（HAT）注意力机制在初始阶段丢失保留关键信息并在特征融合后促进深度融合；最后为平衡额外计算负担并满足实时检测需求，引入在线重参数化卷积技术提高推理速度和每秒帧数，同时保持检测精度。实验结果验证了RetinaHA-YOLO算法在公开低光行人检测数据集上的有效性，AP分别提升5.4%、11.7%和9.5%，同时满足实际应用中的实时性要求。

关键词：低光行人检测 RetinexFormer HAT注意力机制在线重参数化卷