检索结果-南通市图书馆

利用Transformer的多模态目标跟踪算法

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2024年第11期60卷 84-94页

作者：刘万军梁林林曲海成辽宁工程技术大学软件学院辽宁葫芦岛125105

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像... 详细信息

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。

关键词：多模态融合可见光图像红外图像 Transformer 目标跟踪

在线全文

学校读者我要写书评

暂无评论

双分支结构的多层级三维点云补全

计算机工程与应用 2024年第9期60卷 272-282页

作者：邱云飞王宜帆辽宁工程技术大学软件学院辽宁葫芦岛125105

为了缓解现有点云补全方法在特征提取过程中很难平衡局部特征和全局特征的问题,提出了一种双分支结构的多层级点云补全算法。利用两个独立的分支网络分别提取出输入点云的局部特征信息和全局特征信息,再将两种特征信息进行拼接形成特征... 详细信息

为了缓解现有点云补全方法在特征提取过程中很难平衡局部特征和全局特征的问题,提出了一种双分支结构的多层级点云补全算法。利用两个独立的分支网络分别提取出输入点云的局部特征信息和全局特征信息,再将两种特征信息进行拼接形成特征向量。使用五层联合感知机将特征向量映射成多个维度,进而提取多维特征信息并将其整合成最终特征向量。采用金字塔结构在256、512、1024特征维度上对最终特征向量进行特征解码,预测三种不同分辨率的点云。引入鉴别器网络,通过联合训练鉴别器产生的对抗损失和分层重建点云产生的补全损失去优化网络。在ShapeNet数据集上进行实验,算法显著提升了点云补全精度,并且在缺失大面积点云时也能恢复出较为完善的物体形状。

关键词：三维点云形状补全深度学习双分支结构鉴别器网络

在线全文

学校读者我要写书评

暂无评论

适用于约束环境的轻量级目标检测模型

计算机工程与应用 2024年第6期60卷 274-281页

作者：曲海成袁旭东李佳琦辽宁工程技术大学软件学院辽宁葫芦岛125105

为了进一步降低目标检测模型YOLOX-Tiny的大小并提高检测精度,以便于更好地适用于计算资源和存储空间有限的环境,在特征金字塔的结构、解耦头的结构和损失函数上对其进行改进,形成一种更高性能的轻量级目标检测模型Lite-YOLOX。为进一... 详细信息

为了进一步降低目标检测模型YOLOX-Tiny的大小并提高检测精度,以便于更好地适用于计算资源和存储空间有限的环境,在特征金字塔的结构、解耦头的结构和损失函数上对其进行改进,形成一种更高性能的轻量级目标检测模型Lite-YOLOX。为进一步压缩原有模型体积,重新设计特征金字塔和解耦头的结构,使模型的Neck和Head部分更轻量化;为提升模型的检测精度,在原有IoU损失函数的基础上进行优化,设计并提出EIoU损失函数,改进后的损失函数对真实框和预测框的位置更加敏感;选取PASCAL VOC和安全帽检测数据集对改进模型进行验证。实验结果表明:Lite-YOLOX与YOLOX-Tiny相比,参数量减少40%,计算量下降37.5%,mAP50提升3.2和3.1个百分点。在NVIDIA Jetson Xavier NX上,每秒传输帧数(FPS)从51增加到59,实时性有了明显的提升。

关键词：目标检测轻量化特征融合损失函数

Transformer与CNN并行引导的水下图像增强

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2024年第4期60卷 280-288页

作者：常戬陈洪福王冰冰辽宁工程技术大学软件学院辽宁葫芦岛125105

为克服水下图像对比度低和色偏的问题,提出了基于Transformer与CNN并行引导的水下图像增强算法。利用3D位置嵌入模型为Transformer提供相对位置信息、色偏信息和特征图的全局特征,利用CNN编码器提取图像局部特征,将Transformer提取的全... 详细信息

为克服水下图像对比度低和色偏的问题,提出了基于Transformer与CNN并行引导的水下图像增强算法。利用3D位置嵌入模型为Transformer提供相对位置信息、色偏信息和特征图的全局特征,利用CNN编码器提取图像局部特征,将Transformer提取的全局特征和CNN提取的局部特征通过特征调制矩阵整合在一起,通过CNN解码器提高图像的分辨率,将解码器输出的特征图输入到特征加强网络中,由特征加强网络输出最终结果。采用现有的EUVP配对数据集进行训练,为验证该算法的优越性,选取具有不同程度色偏的水下图像进行定性比较和定量实验,结果显示,该算法增强后的水下图像峰值信噪比指标(peak signal-to-noise ratio,PSNR)和结构相似性指标(structural similarity index measure,SSIM)均高于其他对比算法,主观质量也得到显著提高,能够产生颜色丰富且清晰度较高的增强图像。

关键词：水下图像增强 Transformer 卷积神经网络(CNN) 3D位置嵌入模型特征调制矩阵

自适应Transformer网络下的单幅图像去雾方法

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2024年第3期60卷 237-245页

作者：金海波马琳琳田桂源辽宁工程技术大学软件学院辽宁葫芦岛125105

针对现有图像去雾方法对不同雾浓度的雾处理不完善、颜色失真、细节恢复不佳等问题,提出一种基于自适应Transformer的单图像去雾方法。该方法包括编码器、自适应Transformer、解码器三个模块。编码器将输入的图像进行局部特征提取,得到... 详细信息

针对现有图像去雾方法对不同雾浓度的雾处理不完善、颜色失真、细节恢复不佳等问题,提出一种基于自适应Transformer的单图像去雾方法。该方法包括编码器、自适应Transformer、解码器三个模块。编码器将输入的图像进行局部特征提取,得到细节特征。为更好地对不同雾浓度进行提取,提出自适应Transformer,自适应Transformer可以在提取全局特征的基础上,自适应提取不同尺度颗粒雾度特征。解码器用于图像进行恢复与重建。该方法在SOTS室外测试集进行实验,其PSNR为27.45 dB,SSIM为0.954 6,与对比方法中最高的相比分别提高0.43 dB和0.005 3,从而验证出该方法取得了较好的客观结果。此外主观方面去雾图像有效改善了颜色失真,以及不同雾浓度处理不理想的问题。

关键词：图像去雾 Transformer 特征提取注意力机制

在线全文

学校读者我要写书评

暂无评论

双向多尺度特征融合的高效遥感图像车辆检测

计算机工程与应用 2024年第12期60卷 346-356页

作者：曲海成王蒙柴蕊辽宁工程技术大学软件学院辽宁葫芦岛125105

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以... 详细信息

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以解决复杂背景下的目标检测问题;提出了双向多尺度特征融合网络作为特征融合器,采用自顶向下和自底向上的特征融合策略,有效促进不同层次特征之间的信息交互;应用基于注意力的动态检测头作为预测器,增强了对不同尺度、空间位置和任务的感知,进一步提升了目标检测的精度和鲁棒性。在公开数据集DIOR和DOTA上进行相关实验,该方法的平均精度均值达到92.4%和81.4%,显著优于其他主流检测方法,同时具有更少的参数量和计算量,为遥感图像检测领域中的车辆检测提供了一种高效解决方案。

关键词：遥感图像车辆检测多尺度特征融合注意力机制动态检测头

基于用户多类型反馈行为序列的点击率预估模型

在线全文

学校读者我要写书评

暂无评论

计算机工程 2024年

作者：吴永庆王钰涵朱月辽宁工程技术大学软件学院

在推荐系统中，现有的点击率预估模型通常采用用户近期点击过的行为序列作为模型的输入，这将使模型难以获得全面的用户兴趣表示，导致模型无法获得最优的精度。为了解决这个问题，本文引入了一个基于用户多类型反馈行为序列的点击率预... 详细信息

在推荐系统中，现有的点击率预估模型通常采用用户近期点击过的行为序列作为模型的输入，这将使模型难以获得全面的用户兴趣表示，导致模型无法获得最优的精度。为了解决这个问题，本文引入了一个基于用户多类型反馈行为序列的点击率预估模型(Click-Through Rate Estimation Model Based on User Multi-Type Feedback Behavior Sequences，UMFB)。该模型中多种类型的用户行为序列包括隐式反馈序列和显式反馈序列，并且能够对不同的用户兴趣偏好进行建模。鉴于隐式反馈序列中包含大量的噪声，本研究结合了基于傅里叶变换的兴趣去噪层来减轻干扰。此外，为了解决显式反馈序列数据的稀疏性问题，部署了基于对比学习的兴趣增强层来提高建模效果。最后，采用个性化兴趣融合层对用户的偏好进行建模。为了验证UMFB模型的有效性，在短视频推荐领域的KuaiRand-Pure和KuaiRand-1K数据集上进行了对比实验。结果表明，与其他先进的基线模型相比，UMFB模型的AUC分别提高了1.07%和0.91%。

关键词：推荐系统点击率预估行为序列建模多种行为序列对比学习

多通道自适应特征融合的城市路网交通流量预测

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程与应用 2024年

作者：马蕴一许明金海波辽宁工程技术大学软件学院

精准预测城市路网交通流量对交通管控至关重要。然而，由于城市路网的时空相关性非常复杂，精准交通流量预测极具挑战。为了更好捕捉路网时空相关性，提出了基于车辆轨迹数据的多通道自适应特征融合城市路网交通流量预测模型（Multi-Cha... 详细信息

精准预测城市路网交通流量对交通管控至关重要。然而，由于城市路网的时空相关性非常复杂，精准交通流量预测极具挑战。为了更好捕捉路网时空相关性，提出了基于车辆轨迹数据的多通道自适应特征融合城市路网交通流量预测模型（Multi-Channel Adaptive Feature Fusion Network， MCAFF-Net）。首先，提出旅行路径编解码器捕获路网的路径级空间关联。其次，根据路段特征向量构建路网特征空间相似度图，并提出拓扑增强的特征向量相关性网络，以建模路段特征空间相关性。接着，提出了长短期依赖图神经网络，以增大图神经网络的感受野，同时捕捉路网的局部和全局空间相关性。随后，采用自适应学习方式进行特征融合，捕捉路网丰富的动态空间关联。最后，设计了稀疏注意力时间相关性模块，捕捉路网的时间相关性，并降低传统注意力模型的计算复杂度。实验结果表明，与现有先进的基线算法相比，MCAFF-Net预测效果最佳。具体而言，在Sumo-SY和Taxi-BJ数据集的第一个时间步预测中，RMSE指标分别降低了12.89%和5.4%，MAE指标分别降低了13.92%和3.3%。此外，通过与本文模型的六种变体进行消融实验，验证了本文模型各组件的有效性。

关键词：交通流量预测图神经网络稀疏注意力机制特征融合车辆轨迹挖掘

融合CNN与Transformer的MRI脑肿瘤图像分割

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

智能系统学报 2024年

作者：刘万军姜岚曲海成王晓娜崔衡辽宁工程技术大学软件学院

为解决卷积神经网络(convolutional neural networks， CNN)在学习全局上下文信息和边缘细节方面受到很大限制的问题，提出了一种同时学习全局语义信息和局部空间细节的级联神经网络用于脑肿瘤医学图像分割。首先将输入体素分别送入CNN... 详细信息

为解决卷积神经网络(convolutional neural networks， CNN)在学习全局上下文信息和边缘细节方面受到很大限制的问题，提出了一种同时学习全局语义信息和局部空间细节的级联神经网络用于脑肿瘤医学图像分割。首先将输入体素分别送入CNN和Transformer分支，在编码阶段结束后，采用一种双分支融合模块将2个分支学习到的特征有效地结合起来以实现全局信息与局部信息的融合。双分支融合模块利用哈达玛积对双分支特征之间的细粒度交互进行建模，同时使用多重注意力机制充分提取特征图通道和空间信息并抑制无效的噪声信息。在BraTS竞赛官网评估了本文方法，在BraTS2019验证集上增强型肿瘤区、全肿瘤区和肿瘤核心区的Dice分数分别为77.92%，89.20%和81.20%。相较于其他先进的三维医学图像分割方法，本文方法表现出了更好的分割性能，为临床医生做出准确的脑肿瘤细胞评估和治疗方案提供了可靠依据。

关键词：医学图像分割脑肿瘤级联神经网络卷积神经网络 Transformer 特征融合多重注意力残差学习