检索结果-南通市图书馆

GAN下基于跨模态注意力和门控机制的文本生成图像方法研究

在线全文

学校读者我要写书评

暂无评论

GAN下基于跨模态注意力和门控机制的文本生成图像方法研究

作者：赖博润华南理工大学

学位级别：硕士

文本生成图像任务是近年来一种重要的信息转换表示技术,它将复杂的文本描述转化成信息量更大但更容易理解的图像。现有的文本生成图像方法以生成对抗网络为主流生成模型,其中文本和图像两种不同模态信息的映射和融合方法,极大地影响生... 详细信息

文本生成图像任务是近年来一种重要的信息转换表示技术,它将复杂的文本描述转化成信息量更大但更容易理解的图像。现有的文本生成图像方法以生成对抗网络为主流生成模型,其中文本和图像两种不同模态信息的映射和融合方法,极大地影响生成图像的视觉质量和与文本语义的一致性。本文着重研究文本生成图像任务中跨模态信息的映射和融合方法,主要工作如下:1、提出一种门控交叉单词—视觉注意力驱动的文本生成图像方法。首先,提出单词到视觉注意力机制。与常规的视觉到单词注意力机制不同,它通过反向关注与单词相关的图像子区域,为每个单词的重要性衡量提供语义反馈。其次,提出门控细化机制。单词到视觉注意力提供的语义反馈和前一阶段的单词信息作为选择门的双输入,控制重要单词的筛选并对其记忆,以实现图像细化效果的持续改善。实验表明,该方法可以根据生成图像准确选择重要的单词来细化图像,而且生成的图像真实性更高,细节更加丰富。2、提出一种文本单方面(Aspect)信息的局部感知方法和多方面信息的联合感知方法。首先,提出方面级注意力机制。文本的方面信息指描述某个实体或概念的短语,其语义是文本语义的一部分,且含有比单词级语义更为全面的上下文关系,因此所提出的方面级注意力,一方面聚焦单个方面信息所关联的图像子区域,并在该图像子区域上积聚了方面级文本语义,增强了图像的局部细节。其次,针对多个方面信息独立细化图像容易发生视觉错误传递的问题,提出多个方面信息细化结果的并行门控融合方法。由于不同方面信息细化图像同时出错的概率很低,并行融合方法利用了多个方面信息,容错性能更好,同时门控调整融合比例,图像局部细节的真实性以及与文本语义的一致性得到改善。3、提出一种基于全局—局部语义感知判别网络的文本生成图像方法。首先,全局语义感知机制以文本和图像的全局特征匹配来实现语义对齐,为图像生成提供更强的文本全局语义约束。其次,局部语义感知机制基于文本和图像的跨模态注意力,寻找与每个单词匹配的图像子区域,并通过利用文本的全局语义,监督图像子区域的细节生成,为图像的生成过程提供准确的图像细粒度信息反馈。

关键词：文本生成图像生成对抗网络跨模态注意力门控机制语义对齐

面向压力识别的双向跨模态注意力机制的融合方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向压力识别的双向跨模态注意力机制的融合方法研究

作者：韦香玉兰州大学

学位级别：硕士

随着社会经济的不断发展,人们的生活节奏也越来越快,几乎每个人的身上都背负了来自各方面的压力。长期背负着巨大的精神压力,会对个体的身体健康和心理健康造成不利影响。准确地识别出压力状态、进行必要的疏解和干预可以防止压力进一... 详细信息

随着社会经济的不断发展,人们的生活节奏也越来越快,几乎每个人的身上都背负了来自各方面的压力。长期背负着巨大的精神压力,会对个体的身体健康和心理健康造成不利影响。准确地识别出压力状态、进行必要的疏解和干预可以防止压力进一步演变成慢性疾病,因而,提高压力识别的准确率具有重要的现实意义。个体在压力状态下,身体会产生多种生理反应,如呼吸加快、血压升高、出汗等,这些生理反应可以由不同的生理信号来观测,皮肤电活动(Electrodermal Activity,EDA)和血容量脉冲(Blood Volume Pulse,BVP)因其无损、便捷、连续的特点而受到了广泛的关注。仅通过一种生理信号难以准确地识别出压力状态,多模态生理信号的融合是一种很有前景的技术,能够提升压力识别的准确率。然而,多种生理反应并不是同时产生的,从不同的角度观测到的生理模式之间存在着异步性。在进行多模态融合时,需要将这个因素考虑在内,否则将会影响多模态融合的质量。此外,生理信号存在个体差异性,影响模型的通用性和泛化性。为了解决以上问题,本文重点探究了皮肤电信号和血容量脉冲信号之间时序上的对齐关系,并结合多项式随机采样过程进行多模态融合,以提高模型的泛化性能。论文的主要研究工作和成果包括:(1)提出一种基于多模态生理信号动态对齐的融合网络模型:首先根据血容量脉冲信号和皮肤电信号的特性构建不同的特征提取器,以完成自动的时域特征提取。其次,利用跨模态注意力来寻求两种模态之间的对齐关系,并充分地融合跨模态信息。模态内注意力用于弱化噪声和冗余信息,突出重要信息,以获得显著的压力表征。最后,利用预测器分别处理这两种模态的压力表征得到两个预测标签,并利用均方误差损失缩小两个模态之间的差距。(2)提出一种基于多项式随机采样的多模态压力识别网络模型:考虑到不同模态的传感器信号对融合特征的贡献可能会不同,本文结合多项式随机采样过程融合血容量脉冲信号和皮肤电信号。在对不同模态的信号各自完成特征提取后,利用模态间-模态内注意力模块寻求两个模态时序上的对齐关系、突出单模态内部重要的信息。然后通过全连接层将两个注意力模块的输出转换为一个可对接的向量,使得两个模态的特征向量具有相同的特征维度。其次,依据采样概率,对两个模态进行随机采样,获得服从于多项式分布的概率向量。最后,将特征向量与相应的概率向量相乘完成特征选择,将两个模态的特征向量相加完成模态融合。(3)本文在两个多模态情感数据集上进行了对比实验,与具有代表性的神经网络模型和基于注意力机制的多模态融合方法相比,本文提出的基于多模态生理信号动态对齐的融合网络模型在压力识别任务中获得了更好的分类结果,分类准确率可以达到81.8%,有力论证了本研究所考察的多模态生理信号时序对齐的有效性。此外,本文对跨模态注意力权重和潜在的压力表征进行了可视化分析,进一步论证了跨模态注意力机制在对齐多模态生理信号上的有效性以及模态内注意力机制在突出重要信息上的作用。在引入多项式随机采样过程进行特征选择后,不仅提高了分类准确率的平均值,还降低了其标准差,表明基于多项式随机采样的多模态融合有助于提高模型的泛化性能。通过调整采样概率,本文进一步探索了不同的传感器信号对于多模态融合表征的贡献。此外,本文对模型产生的潜在融合表征进行了可视化分析,结果表明所提出的模型能够得到更具区分度的压力表征,具有很好的可解释性。综上所述,本文深刻探究了多模态生理信号时序对齐的有效性。通过跨模态注意力机制和模态内注意力机制的融合建模,进行血容量脉冲信号和皮肤电信号的时域对齐,并获得更具区分性和显著性的压力表征,提高压力识别的准确率。在此基础上,通过多项式随机采样进行特征选择和融合,进一步提升分类模型的泛化性能,为基于多模态生理信号的压力识别建模提供了一种新的思路。

关键词：压力识别生理信号多模态融合跨模态注意力模态内注意力

基于双路径递归网络与Conv-TasNet的多头注意力机制视听语音分离

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子与信息学报 2024年第3期46卷 1005-1012页

作者：兰朝凤蒋朋威陈欢赵世龙郭小霞韩玉兰韩闯哈尔滨理工大学测控技术与通信工程学院哈尔滨150080 哈尔滨工大卫星技术有限公司哈尔滨150023 中国舰船研究设计中心武汉430064

目前的视听语音分离模型基本是将视频特征和音频特征进行简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,分离效果不理想。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合卷积时域分离模型... 详细信息

目前的视听语音分离模型基本是将视频特征和音频特征进行简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,分离效果不理想。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合卷积时域分离模型(Conv-TasNet)和双路径递归神经网络(DPRNN),提出多头注意力机制时域视听语音分离(MHATD-AVSS)模型。通过音频编码器与视觉编码器获得音频特征与视频的唇部特征,并采用多头注意力机制将音频特征与视觉特征进行跨模态融合,得到融合视听特征,将其经DPRNN分离网络,获得不同说话者的分离语音。利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及信噪比(SNR)评价指标,在VoxCeleb2数据集进行实验测试。研究表明,当分离两位、3位或4位说话者的混合语音时,该文方法与传统分离网络相比,SDR提高量均在1.87 dB以上,最高可达2.29 dB。由此可见,该文方法能考虑音频信号的相位信息,更好地利用视觉信息与音频信息的相关性,提取更为准确的音视频特性,获得更好的分离效果。

关键词：语音分离视听融合跨模态注意力双路径递归网络 Conv-TasNet

结合光流算法与注意力机制的U-Net网络跨模态视听语音分离

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2023年第10期45卷 3538-3546页

作者：兰朝凤蒋朋威陈欢韩闯郭小霞哈尔滨理工大学测控技术与通信工程学院哈尔滨150080 中国舰船研究设计中心武汉430064

目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠... 详细信息

目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠密光流(Farneback)算法和U-Net网络,提出跨模态融合的光流-视听语音分离(Flow-AVSS)模型。该模型通过Farneback算法和轻量级网络ShuffleNet v2分别提取运动特征和唇部特征,然后将运动特征与唇部特征进行仿射变换,经过时间卷积模块(TCN)得到视觉特征。为充分利用到视觉信息,在进行特征融合时采用多头注意力机制,将视觉特征与音频特征进行跨模态融合,得到融合视听特征,最后融合视听特征经过U-Net分离网络得到分离语音。利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及源失真比(SDR)评价指标,在AVspeech数据集进行实验测试。研究表明,该文所提方法与纯语音分离网络和仅采用特征拼接的视听分离网络相比,性能上分别提高了2.23 dB和1.68 dB。由此表明,采用跨模态注意力进行特征融合,能更加充分利用各个模态相关性,增加的唇部运动特征,能有效提高视频特征的鲁棒性,提高分离效果。

关键词：视听语音分离视听融合跨模态注意力光流算法

在线全文

学校读者我要写书评

暂无评论

基于跨模态联合编码的多模态情感分析

计算机工程与应用 2024年第18期60卷 208-216页

作者：孙斌江涛贾莉崔伊明西北民族大学语言与文化计算教育部重点实验室兰州730030 南京信息工程大学计算机学院南京210044

如何提高多模态融合特征的有效性是多模态情感分析领域的热点问题之一。以往的研究大多通过设计复杂的融合策略获取融合特征表示,这些方法往往忽略了模态间复杂的关联关系,同时存在着由于模态信息不一致所导致的融合特征有效性降低问题... 详细信息

如何提高多模态融合特征的有效性是多模态情感分析领域的热点问题之一。以往的研究大多通过设计复杂的融合策略获取融合特征表示,这些方法往往忽略了模态间复杂的关联关系,同时存在着由于模态信息不一致所导致的融合特征有效性降低问题,进而影响模型的性能。针对上述问题,提出一种基于跨模态联合编码的多模态情感分析模型。在特征提取方面,利用预训练模型BERT和Facet模型分别提取文本和视觉特征,经过一维卷积操作获取相同维度的单模态特征表示。特征融合方面,利用跨模态注意力模块获得两模态的联合特征,使用联合特征分别调整单模态特征的权重,将两者拼接后获得多模态融合特征,最终输入到全连接层中进行情感识别。在公开数据集CMU-MOSI上的广泛实验表明,该模型的情感分析结果优于大多数现有先进的多模态情感分析方法,能够有效提升情感分析的性能。

关键词：多模态情感分析联合编码跨模态注意力多模态融合

在线全文

学校读者我要写书评

暂无评论

结合社交网络图的多模态虚假信息检测模型

计算机应用研究 2024年第7期41卷 1992-1998页

作者：叶舟波罗舜于娟福州大学经济与管理学院福州350108

针对现有虚假信息检测方法主要基于单模态数据分析,检测时忽视了信息之间相关性的问题,提出了结合社交网络图的多模态虚假信息检测模型。该模型使用预训练Transformer模型和图像描述模型分别从多角度提取各模态数据的语义,并通过融合信... 详细信息

针对现有虚假信息检测方法主要基于单模态数据分析,检测时忽视了信息之间相关性的问题,提出了结合社交网络图的多模态虚假信息检测模型。该模型使用预训练Transformer模型和图像描述模型分别从多角度提取各模态数据的语义,并通过融合信息传播过程中的社交网络图,在文本和图像模态中加入传播信息的特征,最后使用跨模态注意力机制分配各模态信息权重以进行虚假信息检测。在推特和微博两个真实数据集上进行对比实验,所提模型的虚假信息检测准确率稳定为约88%,高于EANN、PTCA等现有基线模型。实验结果表明所提模型能够有效融合多模态信息,从而提高虚假信息检测的准确率。

关键词：网络舆情虚假信息检测多模态融合跨模态注意力社交网络图

基于单阶段生成对抗网络的文本生成图像方法研究

在线全文

学校读者我要写书评

暂无评论

基于单阶段生成对抗网络的文本生成图像方法研究

作者：郭铭南昌大学

学位级别：硕士

文本生成图像方法旨在通过文本描述生成符合语义一致且逼真的图像。作为深度学习领域的热门方法,生成对抗网络(Generative Adversarial Network,GAN)已在文本生成图像领域取得了显著的成果,但仍存在亟需改进之处。传统堆叠式的GAN普遍... 详细信息

文本生成图像方法旨在通过文本描述生成符合语义一致且逼真的图像。作为深度学习领域的热门方法,生成对抗网络(Generative Adversarial Network,GAN)已在文本生成图像领域取得了显著的成果,但仍存在亟需改进之处。传统堆叠式的GAN普遍存在参数纠缠、训练复杂以及生成图像不真实等多方面问题。而现有的单阶段GAN普遍存在特征融合不充分和局部区域特征对齐不足的局限性,导致生成的图像缺乏细节且缺乏与文本的一致性。本文基于单阶段的GAN展开文本生成图像方法的研究,并分别从生成器和判别器的角度进行改进:第一,针对特征融合不充分的问题,提出了一种基于双粒度特征融合的文本生成图像模型(DGF-GAN)。在生成网络中,利用句子级别和单词级别的文本特征分别加强与图像特征的融合。对于粗粒度文本特征,首先,设计了一个条件增强模块,初步增强文本特征并提高初始阶段模型的稳定性。其次,在上采样块中引入残差结构的仿射融合模块,通过三层的仿射变换充分融合粗粒度文本特征。对于细粒度文本特征,在每个上采样块中引入通道注意力模块和像素注意力模块。实现细粒度文本特征在通道和像素维度上,与局部图像特征的充分融合,使网络能够关注关键词来实现更细节的图像生成。实验证明,DGFGAN的表现要优于大多数先进的基于生成对抗网络的文本生成图像模型。在CUB和MS-COCO数据集上,相较于DF-GAN,分别将IS提升了3.4%和6.9%、将FID降低了1.3%和3.6%、将R-Precision提升了1.8%和35.3%。第二,针对局部区域特征对齐不足的问题,在DGF-GAN的基础上,提出了一种基于特征对齐和过滤增强的文本生成图像模型(FAFE-GAN)。在判别网络中,设计了单词级的鉴别器,通过跨模态的注意力来实现重点词与图像局部区域之间的特征对齐,提升判别器对局部特征的鉴别能力,从而给予生成器更详细的指导作用。同时,在判别网络的输入阶段设计了一个阈值过滤模块,用于过滤负样本对中相似度过高的真实图像,优化判别器的训练过程。另外,利用对比学习的思想重新设计了损失函数,进一步提升语义和图像的匹配能力。实验结果表明,FAFE-GAN的表现在DGF-GAN的基础上有所提升。在CUB和MS-COCO数据集上,分别将IS提升了1.9%和1.8%、将FID降低了2.8%和3.9%、将R-Precision提升了4.9%和18.1%。本文通过对文本生成图像领域的单阶段GAN模型进行网络结构改进,以此优化特征融合不充分和局部特征对齐不足的问题。实验证明,本文提出的方法能充分利用特征信息,有效提升生成图像的质量。

关键词：文本生成图像生成对抗网络特征融合特征对齐跨模态注意力

基于深度学习的多模态煤矿事故事件抽取方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的多模态煤矿事故事件抽取方法研究

作者：文章桥临沂大学

学位级别：硕士

随着煤矿智能化政策的提出,对煤矿安全监管的强化成为煤矿企业的重要任务。为解决非结构化的煤矿突发事故数据带来的数据理解难题,本研究引入事件抽取技术应用于煤岩领域。本文通过事件抽取技术将非结构化数据转化为结构化知识,从而为... 详细信息

随着煤矿智能化政策的提出,对煤矿安全监管的强化成为煤矿企业的重要任务。为解决非结构化的煤矿突发事故数据带来的数据理解难题,本研究引入事件抽取技术应用于煤岩领域。本文通过事件抽取技术将非结构化数据转化为结构化知识,从而为促进智慧煤矿的安全发展提供有力支持。本文对煤矿突发事故事件抽取方法进行研究,构建了一套煤矿领域突发事故多模态数据集,缓解了煤矿突发事故多模态事件数据集的空白问题;对文本事件抽取方法与多模态事件抽取方法进行研究,提高模型在事件抽取任务上的性能;并搭建煤矿突发事故事件知识图可视化平台,实现了煤矿突发事故事件知识图的可视化应用与交互服务。本文的具体研究内容如下:(1)文本事件抽取方法研究:提出了一种基于联合学习的解码器特征细化事件抽取方法,该任务在事件抽取三阶段子任务的基础上,在触发词与论元解码器中使用多头注意力机制与多层感知机,使得模型可以进一步提取细粒度特征,从而进一步缓解事件重叠问题;在公开数据集与矿山事故数据集进行试验,该模型优于当前主流文本重叠事件抽取方法,在事件触发词抽取任务与事件论元抽取任务上F1值均有性能提升。(2)构建煤矿突发事故多模态事件数据集:以煤矿突发事故新闻为数据来源,为辨别数据对应的真伪性,通过半人工的方式获取数据并进行标注,结合专家知识,使用Doccano平台按照事件抽取标准对数据进行标注,其数据集中每一条标注的数据所包含的内容为事件类型、事件触发词与触发词的跨度表示、事件论元角色与论元的跨度表示、文本所对应的图像。(3)多模态事件抽取方法研究:提出了一种基于特征感知的多模态事件抽取方法,该方法通过使用句子与图像的全局特征来判断事件类型信息,使用图像来作为辅助信息完成事件抽取任务,使得模型可以进一步理解事件描述,该方法缓解了事件歧义问题;在公开数据集与煤矿突发事故多模态事件数据集上进行实验,该模型在事件类型检测任务上,相较于当前主流的多模态事件抽取基线,性能提升较为明显;最后构建了基于煤矿突发事故数据库与事件抽取方法的可视化应用交互系统,进行模型预测结果可视化展示,通过可视化交互系统可以更好的对事件抽取任务进行分析与交互。通过以上研究,本文验证了煤岩领域的煤矿事故抽取任务的可行性,可以有力支持智慧煤矿的安全发展。

关键词：煤矿突发事故事件抽取多模态联合学习跨模态注意力

基于纹理特征和注意力机制的人脸篡改检测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于纹理特征和注意力机制的人脸篡改检测研究

作者：杨涵湖南大学

学位级别：硕士

随着深度学习和计算机图形学的发展,人们能够便捷地编辑和生成人脸图像,并且视觉效果十分逼真。这类人脸图像生成和编辑,丰富了人们的日常生活。然而,人脸图像携带了丰富的性别、年龄和表情等信息,如果虚假的人脸图像被恶意地使用,将可... 详细信息

随着深度学习和计算机图形学的发展,人们能够便捷地编辑和生成人脸图像,并且视觉效果十分逼真。这类人脸图像生成和编辑,丰富了人们的日常生活。然而,人脸图像携带了丰富的性别、年龄和表情等信息,如果虚假的人脸图像被恶意地使用,将可能损害个人名誉和误导社会舆论,带来严重的信任危机。人脸图像伪造检测,逐步成为数字图像取证领域的一个热点问题。目前,主流的人脸图像伪造可为两类:一是利用人脸交换或表情迁移等技术伪造虚假的人脸图像;二是利用生成对抗网络(Generative Adversarial Networks,GAN),合成虚假的人脸图像。本文通过深入分析这两类人脸图像篡改方法,利用纹理特征和注意力机制等技术,研究人脸图像篡改的被动取证。论文的主要工作和创新点包括:1)针对真实人脸篡改后得到的虚假人脸图像,提出了一种基于纹理增强和跨模态注意力的人脸篡改取证方法。当前人脸伪造取证算法通常是采用二分类模型,没有深度挖掘伪造线索且没有淡化图像内容的干扰。人脸图像实际上包含丰富的语义和纹理,可以从这个角度引导卷积神经网络更好地学习取证特征,并且结合注意力机制进行特征融合。具体地,构建了一种更加精确的纹理伪造线索挖掘模块,并且将纹理特征与高频特征采用跨模态注意力机制进行深度融合,实现真假人脸图像的分类。实验结果表明,提出的取证方法,在三个主流数据集上取得了高达98.44%的平均检测准确率。2)针对GAN生成的虚假人脸图像取证,提出了一种基于纹理和单中心损失的人脸篡改取证方法。GAN模型通过生成器和判别器之间的博弈,能够合成足以以假乱真的人脸图像,它们也携带了独特的GAN模式噪声。本文采用局部二值模式(LBP,Local Binary Pattern)描绘图像纹理,并且结合单中心损失函数,以抑制类内相似性和扩大类间差异性。实验结果表明,提出的方法针对不同GAN模型生成的虚假人脸图像,可以取得高达99.4%的检测率,并且在跨数据集检测时也有好的表现,在压缩等后处理操作时仍然能保持较高的准确率,具有较强的鲁棒性。

关键词：人脸篡改取证深度学习纹理特征跨模态注意力卷积神经网络