检索结果-南通市图书馆

维普期刊数据库

基于跨媒体解纠缠表示学习的风格化图像描述生成

在线全文

学校读者我要写书评

暂无评论

计算机学报 2022年第12期45卷 2510-2527页

作者：蔺泽浩李国趸曾祥极邓悦张寅庄越挺浙江大学计算机科学与技术学院

风格化图像描述生成的文本不仅被要求在语义上与给定的图像一致,而且还要与给定的语言风格保持一致.随着神经网络在计算机视觉和自然语言生成领域的技术发展,有关这个主题的最新研究取得了显著进步.但是,神经网络模型作为一种黑盒系统,... 详细信息

风格化图像描述生成的文本不仅被要求在语义上与给定的图像一致,而且还要与给定的语言风格保持一致.随着神经网络在计算机视觉和自然语言生成领域的技术发展,有关这个主题的最新研究取得了显著进步.但是,神经网络模型作为一种黑盒系统,人类仍然很难理解其隐层空间中参数所代表的风格、事实及它们之间的关系.为了提高对隐层空间中包含的事实内容和语言风格属性的理解以及增强对两者的控制能力,提高神经网络的可控性和可解释性,本文提出了一种使用解纠缠技术的新型风格化图像描述生成模型Disentangled Stylized Image Caption(DSIC).该模型分别从图像和描述文本中非对齐地学习解纠缠表示,具体使用了两个解纠缠表示学习模块——D-Images和D-Captions来分别学习图像和图像描述中解纠缠的事实信息和风格信息.在推理阶段,DSIC模型利用图像描述生成解码器以及一种特别设计的基于胶囊网络的信息聚合方法来充分利用先前学习的跨媒体信息表示,并通过直接控制隐层向量来生成目标风格的图像描述.本文在SentiCap数据集和FlickrStyle10K数据集上进行了相关实验.解纠缠表示学习的实验结果证明了模型解纠缠的有效性,而风格化图像描述生成实验结果则证明了聚合的跨媒体解纠缠表示可以带来更好的风格化图像描述生成性能,相对于对比的风格化图像描述生成模型,本文方法在多个指标上的性能提升了17%至86%.

关键词：跨媒体机器学习解纠缠表示学习风格化图像描述生成自然语言生成

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于解纠缠表示学习的人脸反欺骗算法实现

计算机应用研究 2024年

作者：周毅岩石亮张遨岳晓宇江苏科技大学计算机学院

针对现有人脸反欺骗模型面对不同应用场景识别精度低、泛化性能不佳的问题，引入解纠缠表示学习，提出一种基于解纠缠表示学习的人脸反欺骗方法。该方法采用U-Net架构和ResNet-18作为编码器解码器。首阶段训练中，通过输入真实样本使得... 详细信息

针对现有人脸反欺骗模型面对不同应用场景识别精度低、泛化性能不佳的问题，引入解纠缠表示学习，提出一种基于解纠缠表示学习的人脸反欺骗方法。该方法采用U-Net架构和ResNet-18作为编码器解码器。首阶段训练中，通过输入真实样本使得编码器仅学习到真实样本相关信息。第二阶段，构建对抗性学习网络，输入不具标签的样本，将预训练的编码器输出和新编码器输出进行特征融合，由解码器重建图像，在鉴别器中与原始图像进行对抗训练，以实现特征的解耦。模型与一些经典人脸反欺骗方法相比，有着更好的检测性能，在OULU-NPU数据集的数个实验中最低的检测错误率仅为0.8%，表现优于STDN等经典检测方法。该人脸反欺骗方法通过分阶段训练的方式，使得模型在对抗性训练中获得了相比端到端模型更具判别性的特征表示，在欺骗特征图输出阶段采用多分类策略，减小了不同的图像噪声对分类结果的影响，在公开数据集上的实验验证了算法的有效性。

关键词：人脸反欺骗解纠缠表示学习多分类域泛化

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于解纠缠表示学习的社会化推荐算法研究

基于解纠缠表示学习的社会化推荐算法研究

作者：朱江超山西大学

学位级别：硕士

自二十一世纪全面进入信息时代以来,面对日益增长的海量数据,推荐系统有效解决了信息过载问题,然而基于用户项目评分矩阵的推荐算法面临着数据稀疏和冷启动问题,社交关系的引入为解决这些问题提供了一种有效途径,社会化推荐问题也因此... 详细信息

自二十一世纪全面进入信息时代以来,面对日益增长的海量数据,推荐系统有效解决了信息过载问题,然而基于用户项目评分矩阵的推荐算法面临着数据稀疏和冷启动问题,社交关系的引入为解决这些问题提供了一种有效途径,社会化推荐问题也因此受到研究者的广泛关注。社交网络中往往隐藏着多种类型的用户社交关系,直接将社交关系融入评分矩阵可能会导致推荐性能下降。从社交网络中抽取与评分相关的用户关系是提升推荐性能的关键。本文利用解纠缠表示学习能够学习具有分离语义解耦表示的特点,将其应用于社会化推荐算法,在用户社交网络中解耦出与推荐任务相关的社交表示来提升推荐性能。本文的主要工作内容概括如下:(1)针对当前基于图神经网络的社会化推荐算法在建模用户兴趣时将推荐任务无关的社交关系融合影响推荐性能的问题,提出一种从社交网络解耦推荐相关信息的社会化推荐模型(DSSR)。该模型首先基于解耦图卷积网络学习用户在社交空间下与推荐相关的解耦表示,然后将其与用户在与商品交互空间下的兴趣表示进行融合,最后引入社交网络重构任务来提升用户表示在社交空间的解耦质量。在两个公开数据集上的实验表明,所提出的模型同时在一般推荐场景和用户冷启动推荐场景下比其他方法能获得更好的推荐性能。(2)DSSR模型不仅需要同时优化社交网络解耦层数和交互网络卷积层数,而且无法分层学习用户高阶关系,为此提出一种基于解纠缠表示学习的双域融合社会化推荐算法(DSSR-DF)。该算法首先使用双域共享向量同时融合社交空间和交互空间的用户兴趣,然后通过社交网络的解耦与重构实现推荐相关的用户兴趣抽取,最后通过社交网络解耦和交互图卷积的多层网络堆叠实现高阶关系融合。在稀疏和稠密推荐数据集上的实验表明,DSSR-DF与DSSR相比在不损失推荐性能的情况下能够有效减少模型的超参数。(3)设计并实现了基于用户社交关系的旅游景点推荐软件,该软件使用用户的社交关系和用户与景点的交互记录推理用户兴趣,基于协同过滤的社会化推荐算法为用户提供旅游景点个性化推荐服务。

关键词：推荐系统解纠缠表示学习图神经网络社会化推荐

基于改进高斯混合变分自编码器的半监督情感音乐生成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机科学 2023年

作者：胥备刘桐南京邮电大学计算机学院软件学院网络空间安全学院江苏大数据安全与智能处理重点实验室

音乐可以通过序列化的声音信息传递声音内容和情感。情感是音乐所表达语义中的重要组成部分。因此音乐生成技术不仅要考虑音乐的结构信息，还应融入情感元素。现有的情感音乐生成技术大多采用基于情感标注的完全监督方法。但音乐领域缺... 详细信息

音乐可以通过序列化的声音信息传递声音内容和情感。情感是音乐所表达语义中的重要组成部分。因此音乐生成技术不仅要考虑音乐的结构信息，还应融入情感元素。现有的情感音乐生成技术大多采用基于情感标注的完全监督方法。但音乐领域缺乏大量标准的情感标注数据集，且情感标签不足以表达音乐的情感特征。针对上述问题，提出了基于改进的高斯混合变分自编码器(Gaussian Mixture Variational Autoencoders，GMVAE)的半监督情感音乐生成方法(Semg-GMVAE)，将音乐的节奏特征和调式特征与情感建立联系，同时向GMVAE中引入一种特征解纠缠机制分别学习这两种特征的潜在变量表示，并对其进行半监督聚类推断。最后通过操纵音乐的特征表示，实现了针对快乐、紧张、悲伤、平静情感的音乐生成与情感转换。同时，针对GMVAE难以区分不同情感类别数据的问题，通过实验指出其关键原因是GMVAE证据下界中的方差正则项与互信息抑制项使得各类别的高斯分量分散性不足，从而影响学习表示的性能和生成的质量。因此，Semg-GMVAE对这两项因子分别进行了惩罚和增强，并使用了Transformer-XL作为编码器和解码器以提升在长序列音乐上的建模能力。基于真实数据集的实验结果表明，相比现有方法， Semg-GMVAE能够将不同情感的音乐在潜在空间中更好地分离，增强了音乐与情感的关联程度，并且能够有效对不同音乐特征进行解纠缠分离，最后通过改变特征表示更好地实现情感音乐生成或情感切换。

关键词：情感音乐生成半监督生成模型解纠缠表示学习高斯混合变分自编码器 Transformer-XL

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于多对抗性鉴别网络的人脸活体检测

计算机工程与科学 2023年第9期45卷 1611-1620页

作者：任拓闫玮况立群谢剑斌谌钟毓高峰郭锐束伟谢昌颐中北大学大数据学院山西太原030051 国防科技大学电子科学学院湖南长沙410073 辽宁科技大学电子与信息工程学院辽宁鞍山114051 墨尔本大学医学、牙科和健康科学学院澳大利亚墨尔本3010

人脸活体检测是人脸识别系统安全性保证的关键,其中,解纠缠学习方法可以有效解决人脸活体检测中泛化数据集的问题,但是现有的解纠缠学习方法往往将整幅人脸图像作为输入,解析出伪造痕迹元素,会忽略伪造痕迹的局部细节问题。针对这一问题... 详细信息

人脸活体检测是人脸识别系统安全性保证的关键,其中,解纠缠学习方法可以有效解决人脸活体检测中泛化数据集的问题,但是现有的解纠缠学习方法往往将整幅人脸图像作为输入,解析出伪造痕迹元素,会忽略伪造痕迹的局部细节问题。针对这一问题,改进现有的伪造痕迹解纠缠网络,提出多对抗性鉴别网络模型,在鉴别器中设计主鉴别器和区域鉴别器,引入人脸遮罩模块,生成人脸皮肤、五官遮罩蒙版,整合人脸局部信息,使生成器拟合的图像更接近数据集中人脸图像的分布,同时解离出加强版的伪造痕迹。提出的多对抗性鉴别网络有效地增强了伪造人脸图像的伪造痕迹信息并提高了人脸活体检测的准确率。具体来说,该网络模型在OULU-NPU数据集的2个实验中的检测错误率仅为0.8%和1.4%,相比STDN错误率显著降低,同时在Idiap Replay-Attack数据集上也达到了较好的检测效果。为了验证该网络模型的可迁移性,在NUAA数据集和Idiap Replay-Attack数据集上进行跨域实验,达到了不错的效果。

关键词：人脸识别活体检测生成对抗网络解纠缠表示学习

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于视觉和语义关系的广义零样本学习

基于视觉和语义关系的广义零样本学习

作者：韩阿友中原工学院

学位级别：硕士

近年以来深度学习模型得到了高度发展,在多个应用场景都取得了非常好的效果。然而这些效果很大程度上依赖于大量的带标记数据,如果没有大量的数据去训练一个深度模型,那么其效果也差强人意。在现实生活中,收集大量带标记数据是非常困难... 详细信息

近年以来深度学习模型得到了高度发展,在多个应用场景都取得了非常好的效果。然而这些效果很大程度上依赖于大量的带标记数据,如果没有大量的数据去训练一个深度模型,那么其效果也差强人意。在现实生活中,收集大量带标记数据是非常困难的,甚至一些类别的样本现在几乎很难收集到,这些类别的数据现在只存在类别描述文本,比如濒危鸟类和医学上的疑难杂症等,并且世界上新增新类别样本速度过快,要识别这些新样本就必须新增样本重新训练模型,这样成本是非常大的。零样本学习提供了一种很好的解决方案,即在没有任何目标类别标注数据的情况下,仍然能有效地识别分类出这些类别,这种方法可以自然地引导人类思考,如何在缺乏数据的情况下进行分类。零样本学习让深度模型有了像人一样的演绎推理能力,对实现真正的人工智能提供了一个很好的方向。它通过类别的属性信息把在可见类上学习到的知识迁移到无训练数据的不可见类别上,传统的零样本分类旨在测试阶段对不可见类进行识别分类,而广义零样本分类比传统零样本更具现实意义,在测试阶段,它需要同时识别出可见类和不可见类。本文的主要研究内容如下:(1)现有方法只在训练阶段注重语义一致性,在分类阶段和特征合成阶段忽略了语义一致性约束,这种约束的缺失可能会导致合成的视觉特征不能很好地表达其语义,视觉特征和语义特征没有很好地在模态上对齐,从而造成视觉特征和语义特征之间的偏差。针对此类问题,本研究在SDGZSL方法的基础上进行改进,提出了一种增强语义一致性和转换判别特征的广义零样本分类方法,旨在模型的各个阶段都加强语义一致性。具体地,首先利用解纠缠的方法提取特征中语义一致性特征,其次利用一个语义解码器结构将视觉特征解码重构回语义空间,使合成的实例能够更好地表达其语义,加强特征合成阶段的语义一致性,这样可以加强语义和视觉的对齐,减少语义偏差,该结构通过循环一致性损失进行训练,因此该结构的输出也可以被认为是一种语义一致性特征,所以通过该结构可以进一步得到另一个语义一致性特征。最后改进了该方法的分类模块,将两个语义一致性特征进行拼接转换得到增强的语义一致性特征,使用该特征训练Softmax分类器进行最终的零样本分类,这样可以在分类阶段加强语义一致性。在四个数据集上进行大量的实验和分析,实验结果表明所提方法能够取得比基准模型SDGZSL更好的效果,此外对比其它同类型方法,所提方法也能取得具有竞争性的结果。(2)现有的大多数广义零样本学习方法在模型学习的过程中,原始特征在维度上并不是都与预定义属性在语义上相关,视觉在维度上和语义会产生偏见,将导致对不可见类的负迁移;此外在分类过程中往往都忽略了丰富的语义信息,在语义信息也存在着与视觉无关的属性,这也将会影响分类结果。针对这些问题,本研究提出了一种视觉-语义双重解纠缠的广义零样本分类方法。具体地,设计了两个解纠缠的结构来分别提取视觉特征中语义一致性特征和语义属性中视觉一致性语义。通过两种解纠缠结构可以减少两种模态上的冗余信息,增强语义和视觉的对齐。最后使用两种一致性特征进行拼接,训练一个Softmax分类器进行最终的样本分类,在多个数据集上的实验表明,该方法取得了更优的结果,进一步验证了方法的有效性。

关键词：图像分类广义零样本学习解纠缠表示学习特征增强生成模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

非配合式活体人脸特征检测技术研究

非配合式活体人脸特征检测技术研究

作者：任拓中北大学

学位级别：硕士

随着科技的进步,人脸识别系统已经广泛应用于人们的日常生活中,同时,针对人脸识别系统的活体攻击也越来越多。因此,活体人脸检测作为保障系统安全性的关键一环,这一技术成为许多研究者关注的重点。为了解决活体检测模型鲁棒性不高,导致... 详细信息

随着科技的进步,人脸识别系统已经广泛应用于人们的日常生活中,同时,针对人脸识别系统的活体攻击也越来越多。因此,活体人脸检测作为保障系统安全性的关键一环,这一技术成为许多研究者关注的重点。为了解决活体检测模型鲁棒性不高,导致误检率较高的问题,本文从空间域和频率域两个角度出发,对活体人脸检测技术展开研究,主要研究成果如下:(1)解纠缠学习可以将人脸图像上的伪造痕迹解析出来,常用来解决活体人脸检测问题。但是,现有的方法往往将整张空间域人脸图像作为输入,会忽略伪造痕迹的局部细节问题,针对这一问题,提出多对抗性鉴别网络模型,在鉴别器中引入人脸遮罩模块,整合人脸局部信息,使生成器拟合的图像更接近数据集中人脸图像的分布,同时解离出加强版的伪造痕迹。该方法有效地加强了伪造人脸图像上的伪造痕迹,并提高了活体人脸检测的准确率。(2)基于CNN的方法在数据集内部可以达到很好的效果,但是,在跨数据集的情况下,会使活体人脸检测效果对光照变化、传感器变化适应性变差,导致泛化能力不强。针对该问题,提出多尺度频率域网络,设计多级频域滤波器,提取频率域人脸图像的低、中、高频信息,利用分层注意力机制将三种尺度信息整合加工,进一步提取到相比原有信息更加突出的伪造痕迹特征,提高数据对光照、传感器的敏感度,增强了该方法的普适性。(3)基于频率域的方法在一定程度上提升了对光照、传感器的敏感度,但是深入研究发现,该方法还有提升的空间。在这个基础上,提出基于多尺度双通道网络的活体人脸检测方法,分别从频率域图像和RGB图像中提取多尺度频率域特征和多尺度空间域特征,使用分层注意力机制将空间域特征和频率域特征整合,提取更具代表性的高级特征。上述方法均在OULU-NPU、Siw和Idiap Replay-Attack等主流数据集中按照实验方案进行实验,使用对应的多种公共评价指标评估,最终验证了本文提出的三个方法的有效性。

关键词：非配合式活体人脸检测解纠缠表示学习多尺度深度学习

基于高斯混合变分自编码器和解纠缠机制的半监督情感音乐生成方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于高斯混合变分自编码器和解纠缠机制的半监督情感音乐生成方法...

作者：刘桐南京邮电大学

学位级别：硕士

随着多媒体技术和互联网的发展,音乐社区、短视频平台、社交软件、影视及游戏等新兴应用通常以数字音乐作为流传形式和盈利工具。传统的人工作曲方式已经较难及时满足音乐市场的个性化作曲需求。因此,通过计算机自动生成音乐可以有效辅... 详细信息

随着多媒体技术和互联网的发展,音乐社区、短视频平台、社交软件、影视及游戏等新兴应用通常以数字音乐作为流传形式和盈利工具。传统的人工作曲方式已经较难及时满足音乐市场的个性化作曲需求。因此,通过计算机自动生成音乐可以有效辅助人们进行音乐创作。音乐可以通过旋律、节奏、曲调等元素传递内容信息和表达情感色彩。情感是音乐所表达语义中的重要组成部分,自动音乐生成技术不仅要考虑音乐的结构信息,还应融入情感元素。音乐类似于自然语言,是由一系列音符按照时间顺序排列组成的序列,因此可借鉴自然语言处理领域的语言模型来构建特定情感的音乐生成模型。现有的情感音乐生成模型存在一定的缺陷。首先,大多模型采用基于情感标注的完全监督方法来生成特定情感的音乐。这种方式过度依赖有标签数据。而音乐领域缺乏大规模的、标准的情感标注数据集,并且情感标签的主观性也会影响生成模型对情感判定的准确性。其次,现有模型缺乏一定的情感可解释性和情感可控性。可解释性意味着模型能够将音乐在乐理方面的基本特征与情感相关联,以赋予生成的音乐更准确的情感意义。可控性意味着用户在生成过程中能够自主改变输出音乐的情感状态。最后,现有方法大多基于GRU、LSTM等循环神经网络来构建生成模型,而音乐属于长序列数据,包含了大量事件信息,这些模型在此类数据上建模能力有限,容易忽略上下文之间的结构依赖,并且存在梯度消失或梯度爆炸的问题。针对上述问题,本文工作主要包含以下两个方面:(1)提出了一种基于变分自编码器(VAE)的可控音乐生成模型(Control-VAE)。该模型引入了一种具有编码器约束和多任务损失函数约束的解纠缠机制从音乐原始数据中分离学习关于节奏特征和调式特征的潜在变量表示,通过操纵相应的特征表示可实现音乐的可控生成。此外,Control-VAE使用Transformer-XL网络构建了编码器和解码器,基于其段级循环机制和相对位置编码,能够有效学习更多音乐小节的上下文依赖结构,增强模型对不同特征的关注能力。(2)在Control-VAE的基础上提出了一种基于高斯混合变分自编码器(GMVAE)的半监督生成模型(Semg-GMVAE)。该模型将节奏特征和调式特征与不同层面的情感建立了联系,以半监督方法对这两种特征的潜在变量表示进行情感类别推断,使其具备表达情感的能力。在生成时可通过操纵特征表示来实现针对快乐、激动、悲伤、平静情感的音乐生成与情感变换。此外,本文对模型的目标损失函数提出了一种优化方法,该方法对GMVAE证据下界中的方差正则项与互信息抑制项分别进行了惩罚和增强以提升潜在空间中各个情感类簇的分离效果,从而使模型更容易学习和区分不同情感类别的音乐数据。上述工作在一个包含部分情感标签的符号化音乐数据集上得到了实验评估。结果表明,Control-VAE能够成功对音乐的节奏特征表示和调式特征表示解纠缠分离,对任一特征表示进行独立控制可以决定生成的音乐在该特征方面的特性。由于Semg-GMVAE具备高效的半监督性能、特征与情感之间的紧密联系、不同情感类簇之间充足的分散性,因此该模型减少了对有标签数据的依赖,其生成的音乐获得了最高的情感预测精度,通过解纠缠机制也成功实现了操纵特征的音乐情感变换。

关键词：情感音乐生成半监督生成模型解纠缠表示学习高斯混合变分自编码器 Transformer-XL

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于解纠缠深度神经网络的人手姿态估计

基于解纠缠深度神经网络的人手姿态估计

作者：郭心如大连理工大学

学位级别：硕士

随着人工智能领域的快速发展,智能机器人已经从方方面面渗透到人们的日常生活中,人机交互的地位日益凸显。基于人手的人机交互在许多场合都发挥着重要作用,例如在虚拟现实中使用手进行信息输入、屏幕转换、信息获取等操作。因此作为手... 详细信息

随着人工智能领域的快速发展,智能机器人已经从方方面面渗透到人们的日常生活中,人机交互的地位日益凸显。基于人手的人机交互在许多场合都发挥着重要作用,例如在虚拟现实中使用手进行信息输入、屏幕转换、信息获取等操作。因此作为手部交互的基础性工作,3D手势姿态估计具有很重要的研究价值。近年来,随着深度学习和卷积神经网络的发展,基于RGB图像的3D手势姿态估计引起了广泛的关注与研究,也取得了不错的成果,但是由于单视角RGB图像缺少深度信息,背景复杂,人手姿态多样,获取3D姿态标注困难等问题使得该项任务仍然具有很大的挑战性,因此有必要对该项任务进行深入的研究。本文的研究内容如下:（1）基于解纠缠理论与跨模态变分自编码器模型提出单模态输入多模态输出的解纠缠模型cm SIMO-βVAE,并在该模型的基础上设计了带有注意力机制的da-VAE网络。该网络采用变分编码器结构将输入图像编码,通过注意力模块与解码器输出结合,对隐空间变量解纠缠,分解为分别代表手的姿态、手的形状和手的外观（颜色/纹理）语义信息的子空间,获得更有效的手姿态信息,从而实现更准确地手势姿态估计。在几个公开数据集上实验结果表明,分解的子空间中学到的信息符合所赋予的语义信息。本文的方法能够从单张RGB图像预测较准确的3D手势姿态,与当前的最优效果相当。（2）有3D姿态标注的训练数据不足是影响手势姿态估计性能的一个主要因素,然而获取准确的3D手部姿态标注的过程是很困难并且非常耗时的,获取成本比较高。本文提出了一个半监督解纠缠网络结构,该网络通过在特征层面对RGB图像进行解纠缠,提取更有效的手部信息,实现以半监督方式从RGB图像预测手的3D姿态。该网络充分挖掘了未标注RGB数据的潜在特性来提高手势姿态估计的准确性,减少了模型对有标注数据的依赖。实验结果表明,本文的方法能够从单张RGB图像预测较准确合理的3D手势姿态,证明了对有标注训练数据集用未标注的RGB图像扩充可提升手势姿态估计的准确性。

关键词：手势姿态估计解纠缠表示学习变分自编码器半监督学习