检索结果-南通市图书馆

基于transformer网络多模态融合的密集视频描述方法

在线全文

学校读者我要写书评

暂无评论

系统仿真学报 2024年第5期36卷 1061-1071页

作者：李想桑海峰沈阳工业大学信息科学与工程学院辽宁沈阳110870

针对目前的密集视频描述模型大多使用两阶段的方法存在效率较低、忽略音频及语义信息,描述结果不全面的问题。提出了一种基于transformer网络多模态和语义信息融合的密集视频描述方法。提取自适应R(2+1)D网络提取视觉特征,设计了语义探... 详细信息

针对目前的密集视频描述模型大多使用两阶段的方法存在效率较低、忽略音频及语义信息,描述结果不全面的问题。提出了一种基于transformer网络多模态和语义信息融合的密集视频描述方法。提取自适应R(2+1)D网络提取视觉特征,设计了语义探测器生成语义信息,加入音频特征进行补充,建立了多尺度可变形注意力模块,应用并行的预测头,加快模型收敛速度,提高模型精度。实验结果表明:模型在2个基准数据集上性能均有很好的表现,评价指标BLEU4上达到了2.17。

关键词：密集事件描述 transformer网络语义信息多模态融合可变形注意力

维普期刊数据库博看期刊

深度嵌套式transformer网络的高光谱图像空谱解混方法

在线全文

学校读者我要写书评

暂无评论

中国图象图形学报 2024年第8期29卷 2220-2235页

作者：游雪儿苏远超蒋梦莹李朋飞刘东升白晋颖西安科技大学测绘科学与技术学院西安710054 西安交通大学电子与信息学部西安710049 航天宏图信息技术股份有限公司北京100195

目的基于深度学习的解混方法在信息挖掘和泛化性能上优于传统方法,但主要关注光谱信息,对空间信息的利用仍停留在滤波、卷积的表层处理。这使得构建解混网络时需要堆叠多层网络,易丢失部分图像信息,影响解混准确性。transformer网络因... 详细信息

目的基于深度学习的解混方法在信息挖掘和泛化性能上优于传统方法,但主要关注光谱信息,对空间信息的利用仍停留在滤波、卷积的表层处理。这使得构建解混网络时需要堆叠多层网络,易丢失部分图像信息,影响解混准确性。transformer网络因其强大的特征表达能力广泛应用于高光谱图像处理,但将其直接应用于解混学习容易丢失图像局部细节。本文基于transformer网络提出了改进方法。方法本文以TNT(transformer in transformer)构架为基础提出了一种深度嵌套式解混网络(deep embedded transformer network,DETN),通过内外嵌入式策略实现编码器中局部与整体空间信息共享,不仅保留了高光谱图像的空间细节,而且在编码器中只涉及少量卷积运算,大幅度提升了学习效率。在解码器中,通过一次卷积运算来恢复数据结构以便生成端元与丰度,并在最后使用Softmax层来保障丰度的物理意义。结果最后,本文分别采用模拟数据集和真实高光谱数据集进行对比实验,在50dB模拟数据集中平均光谱角距离和均方根误差取得最优值,分别为0.0386和0.0045,在真实高光谱数据集Samson、Jasper Ridge中取得最优平均光谱角距离,分别为0.1194,0.1027。结论实验结果验证了DETN方法的有效性和优势,并且能为实现深度解混提供新的技术支撑和理论参考。

关键词：遥感图像处理高光谱遥感混合像元分解深度学习 transformer网络

基于transformer网络特征融合的色纺织物颜色表征模型

在线全文

学校读者我要写书评

暂无评论

毛纺科技 2024年第7期52卷 107-115页

作者：吴心如袁理王闵郭旻朱兰艳汪晶武汉纺织大学电子与电气工程学院湖北武汉430200 武汉纺织大学湖北省纺织新材料与先进加工技术省部共建国家重点实验室湖北武汉430200

针对色纺织物特有的呈色结构以及常用单一颜色测量工具导致的数据特征局限的问题,基于transformer网络建立多源异构数据融合颜色表征模型。从分光计数据与图像数据中分别提取光谱特征与纹理特征,使用transformer网络融合多源异构数据特... 详细信息

针对色纺织物特有的呈色结构以及常用单一颜色测量工具导致的数据特征局限的问题,基于transformer网络建立多源异构数据融合颜色表征模型。从分光计数据与图像数据中分别提取光谱特征与纹理特征,使用transformer网络融合多源异构数据特征,充分利用其互补特性,有效完备地表征色纺织物颜色信息。结果表明,本文构建的颜色表征模型能够对在较大变化范围内的染色纤维质量配比差异和由于染色纤维表面不均匀分布的颜色变化进行有效表征;在分光光度仪6、10和25 mm测量孔径下,融合特征差异与纤维配比差异的相关系数均高于85%;相较于单一光谱特征和单一图像特征,本文方法的相关系数提升10%以上,具有理想的鲁棒性。

关键词：色纺织物颜色表征多源异构数据特征融合 transformer网络

基于transformer网络特征融合的色纺织物图像检索

在线全文

学校读者我要写书评

暂无评论

毛纺科技 2024年第8期52卷 98-102页

作者：沈佳忱袁理廖海斌王闵郭旻武汉纺织大学电子与电气工程学院湖北武汉430200 武汉纺织大学省部共建纺织新材料与先进加工技术国家重点实验室湖北武汉430200

针对单一特征难以准确描述色纺织物图像颜色和纹理的复杂性和各向异性,提出了基于transformer网络特征融合的色纺织物图像检索算法。首先,利用卷积神经网络模型提取色纺织物图像的高级语义信息;然后,利用transformer网络融合图像的三阶... 详细信息

针对单一特征难以准确描述色纺织物图像颜色和纹理的复杂性和各向异性,提出了基于transformer网络特征融合的色纺织物图像检索算法。首先,利用卷积神经网络模型提取色纺织物图像的高级语义信息;然后,利用transformer网络融合图像的三阶颜色矩特征,充分利用色纺织物图像的“高级语义信息”和“浅层图像信息”的互补性进行图像检索。采用了14种不同类型的色纺织物样本图像进行检索,该系统的平均Top-10查全率与准确率mAP值分别达到了98.35%和89.25%,相较于融合注意力机制的单一网络模型,检索Top-10的查全率和mAP值均有提升。

关键词：色纺织物图像检索 transformer网络特征融合

基于transformer网络的机载雷达多目标跟踪方法

在线全文

学校读者我要写书评

暂无评论

雷达学报（中英文） 2022年第3期11卷 469-478页

作者：李文娜张顺生王文钦电子科技大学电子科学技术研究院成都611731 电子科技大学信息与通信工程学院成都611731

传统的多目标跟踪数据关联算法需要提前知晓目标运动模型和杂波密度等先验信息,然而这些先验信息在跟踪之前无法及时准确地获取。针对这个问题,提出一种基于transformer网络的多目标跟踪数据关联算法。首先,考虑到传感器会存在漏检的情... 详细信息

传统的多目标跟踪数据关联算法需要提前知晓目标运动模型和杂波密度等先验信息,然而这些先验信息在跟踪之前无法及时准确地获取。针对这个问题,提出一种基于transformer网络的多目标跟踪数据关联算法。首先,考虑到传感器会存在漏检的情况,引入虚拟量测来重新建立数据关联模型。在此基础上,提出基于transformer网络的数据关联方法来解决多目标与多量测的匹配问题。同时,设计了一种掩蔽交叉熵损失与重叠度损失相结合的损失函数(MCD)用于优化网络参数。仿真和实测数据结果表明:在不同检测概率条件下,所提算法性能均优于经典的数据关联算法和基于双向长短时记忆网络的算法。

关键词：机载雷达多目标跟踪数据关联 transformer网络注意力机制

基于transformer网络和多任务学习的园区综合能源系统电-热短期负荷预测方法

在线全文

学校读者我要写书评

暂无评论

南方电网技术 2023年第1期17卷 152-160页

作者：黄旭锐于丰源杨波潘军徐钦广东电网有限责任公司广州供电局广州510013

负荷预测是综合能源系统(integrated energy system,IES)能量管理和优化调度的基础,其预测精度直接关系到系统的整体运行性能。提出了一种基于transformer网络和多任务学习的园区综合能源系统电-热短期负荷预测模型。首先对transformer... 详细信息

负荷预测是综合能源系统(integrated energy system,IES)能量管理和优化调度的基础,其预测精度直接关系到系统的整体运行性能。提出了一种基于transformer网络和多任务学习的园区综合能源系统电-热短期负荷预测模型。首先对transformer网络和多任务学习结构的基本原理进行了介绍;然后通过基于随机森林的特征选择步骤提取反映负荷特性和变化规律的典型指标,构建多任务学习输入特征,基于transformer网络构建多任务学习权值共享层,并通过全连接层输出多能负荷的预测值;最后通过实际园区微能源系统的数据验证所提方法和算法的有效性,结果表明本文所提模型可以充分学习电-热耦合特征,提高负荷预测的精度。

关键词：负荷预测多任务学习 transformer网络电-热耦合综合能源系统

融合transformer网络与维纳过程的贮备系统寿命预测

在线全文

学校读者我要写书评

暂无评论

哈尔滨工程大学学报 2023年

作者：任锦程郑建飞胡昌华董海迪裴洪火箭军工程大学导弹工程学院海军工程大学兵器工程学院

针对备件存储失效下基于深度学习的贮备系统寿命预测模型的不确定性水平难以量化，并且基于随机过程的模型在处理复杂和海量数据时存在一定的局限性问题。鉴于此，提出一种融合transformer网络与维纳过程(Wiener process， WP)的非线性... 详细信息

针对备件存储失效下基于深度学习的贮备系统寿命预测模型的不确定性水平难以量化，并且基于随机过程的模型在处理复杂和海量数据时存在一定的局限性问题。鉴于此，提出一种融合transformer网络与维纳过程(Wiener process， WP)的非线性退化贮备系统寿命预测方法。采用SG滤波器和CEEMADN算法对历史数据进行预处理提取退化趋势；通过transformer网络自适应估计非线性WP的退化趋势函数；推导出在首达时间意义下贮备系统寿命概率密度函数的解析表达式，通过数值仿真和锂电池实例验证了该方法的有效性和实用性。

关键词： transformer网络退化趋势函数贮备系统寿命预测维纳过程存储失效自适应估计 CEEMDAN算法

基于卷积神经网络和transformer网络的鸟声识别

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

声学技术 2023年第5期42卷 675-683页

作者：王基豪周晓彦李大鹏韩智超王丽丽南京信息工程大学电子与信息工程学院江苏南京210044

针对传统鸟声识别算法中特征提取方式单一、分类识别准确率低等问题,提出一种结合卷积神经网络和transformer网络的鸟声识别方法。该方法综合考虑网络局部特征学习和全局上下文依赖性构造,从原始鸟声音频信号中提取短时傅里叶变换(Short... 详细信息

针对传统鸟声识别算法中特征提取方式单一、分类识别准确率低等问题,提出一种结合卷积神经网络和transformer网络的鸟声识别方法。该方法综合考虑网络局部特征学习和全局上下文依赖性构造,从原始鸟声音频信号中提取短时傅里叶变换(Short Time Fourier Transform,STFT)语谱图特征,将其输入到卷积神经网络(Convolutional Neural Network,CNN)中提取局部频谱特征信息,同时提取鸟声信号的对数梅尔特征及一阶差分、二阶差分特征用于合成梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)混合特征向量,将其输入到transformer网络中获取全局序列特征信息,最后融合所提取的特征可得到更丰富的鸟声特征参数,通过Softmax分类器得到鸟声识别结果。在Birdsdata和xeno-canto鸟声数据集上进行实验,平均识别准确率分别达到了97.81%和89.47%。实验结果表明该方法相较于其他现有的鸟声识别模型具有更高的识别准确率。

关键词：鸟声识别特征提取卷积神经网络(CNN) transformer网络

基于双自编码器和transformer网络的异常检测方法

在线全文

学校读者我要写书评

暂无评论

计算机应用 2023年第1期43卷 22-29页

作者：周佳航邢红杰河北大学数学与信息科学学院河北保定071002 河北省机器学习与计算智能重点实验室(河北大学) 河北保定071002

基于自编码器(AE)的异常检测方法利用重构误差判断待测样本是正常数据还是异常数据。然而,上述方法在正常数据与异常数据上产生的重构误差非常接近,导致部分异常数据很容易被错分为正常数据。为解决上述问题,提出一种由两个并行的AE和一... 详细信息

基于自编码器(AE)的异常检测方法利用重构误差判断待测样本是正常数据还是异常数据。然而,上述方法在正常数据与异常数据上产生的重构误差非常接近,导致部分异常数据很容易被错分为正常数据。为解决上述问题,提出一种由两个并行的AE和一个transformer网络组成的异常检测方法——DATN-ND。首先,transformer网络利用输入样本的瓶颈特征生成伪异常数据的瓶颈特征,从而在训练集中增加异常数据信息;其次,双AE将带有异常数据信息的瓶颈特征尽可能地重构为正常数据,增加异常数据与正常数据的重构误差差别。与记忆增强自编码器(MemAE)相比,DATN-ND在MNIST、Fashion-MNIST、CIFAR-10数据集上ROC曲线下面积(AUC)分别提升6.8、12.0和2.5个百分点。实验结果表明,DATN-ND能够有效扩大正常数据和异常数据在重构误差上的差别。

关键词：异常检测自编码器重构误差单类分类 transformer网络