检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习和词嵌入的视觉语义嵌入研究

基于深度学习和词嵌入的视觉语义嵌入研究

作者：杨战波西南大学

学位级别：硕士

随着时代的发展,信息的载体越来越呈现多模态化的趋势,多模态表示学习也逐渐成为研究学者们关注的焦点。在计算机视觉领域,视觉识别系统在图像分类上的错误率已经低于人类的平均水平;而在自然语言处理领域,机器翻译的水平也足够人类的... 详细信息

随着时代的发展,信息的载体越来越呈现多模态化的趋势,多模态表示学习也逐渐成为研究学者们关注的焦点。在计算机视觉领域,视觉识别系统在图像分类上的错误率已经低于人类的平均水平;而在自然语言处理领域,机器翻译的水平也足够人类的日常使用。但在图像描述等需要综合利用图像和文本的领域,计算机的水平还不尽如人意。因此,如何有效结合计算机视觉与自然语言处理的优势,有效利用图像和文本之间的互补性,已成为了近些年学者们新的研究热点。视觉语义嵌入便是研究如何利用图像和文本间的互补性,剔除两者之间的冗余性,从而得到更好的图像表示和文本表示的方法。如今,随着深度学习的崛起,计算机视觉和自然语言处理领域也双双迈入了深度学习阶段。在计算机视觉领域,卷积神经网络已经成为图像相关问题的首选处理模型;而在自然语言处理领域,循环神经网络和词嵌入模型的发展也使得文本分类和机器翻译等应用越来越接近人类的水平。本文研究的主体是如何有效利用深度学习和词嵌入模型来改进视觉语义嵌入模型,获得更优的图像表示和文本表示,以及两者内部真实的语义结构表示,从而提高图像描述等图像与文本交叉领域的学习水平。在本文中,我们分别发挥卷积神经网络、循环神经网络和词嵌入模型等的各自优势,对视觉语义嵌入模型进行研究。总体而言,本文的贡献主要包括以下两个方面:1)我们提出了一种基于词嵌入平均的视觉语义嵌入学习框架,通过框架内卷积神经网络和词嵌入平均的共同学习,它能够将图像的表示空间和文本的表示空间统一到共同的嵌入空间中。在图像方面,我们先使用卷积神经网络提取图像的特征;在文本方面,我们先分别用词嵌入模型得到每个单词的向量化表示,然后取其平均作为文本的特征;最后通过结合了困难负样本挖掘的三元排序损失函数来减小图像特征和文本特征间的误差。通过应用迁移学习做图像相似度检测方面的应用,实验证明了我们的模型能够从图像中提取到正确的语义特征,并为相似的图像生成相似的向量化表示。同时,我们重点研究了困难负样本挖掘和不同的卷积神经网络结构对模型性能的影响。2)我们在基于循环神经网络的视觉语义嵌入学习框架中引入了词嵌入初始化和文本数据扩增,其可以实现两种模态的更好的共同表示学习。在图像方面,我们使用了应用最为广泛和有效的卷积神经网络结构;对于文本方面,我们应用了在自然语言处理中善于处理序列数据的循环神经网络结构,并且使用词嵌入模型以初始化循环神经网络结构中的文本编码器,而且对照了在有无文本数据扩增情况下的模型表现。在模型的损失函数上,我们选择了结合困难负样本挖掘的三元排序损失函数。在实验部分,我们应用迁移学习,在一个小型数据集上做了图像向量与单词向量间的简单的算术运算,表明了我们的模型能够从图像中学习到图像内部的语义特征。通过与其他六种模型的具体比较,实验证明了我们所提出的视觉语义嵌入学习框架在图像标注和图像搜索等任务上表现更好;此外,我们也对模型学习中应用到的训练集使用百分比,以及词嵌入初始化对模型的影响做了重点分析。上述实验同时证明了文本数据扩增更适用于小型数据集,而词嵌入初始化更适合大型数据集。综上,本文在深度学习方法和词嵌入模型的基础上,充分利用学习框架的特征表达能力,来对视觉语义嵌入问题进行研究,挖掘出图像空间和文本空间潜在的语义结构信息。同时,通过广泛的实验和应用证明了我们的学习框架在图像标注、图像搜索和图像相似度检测等方面的有效性。

关键词：视觉语义嵌入深度学习词嵌入卷积神经网络循环神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

用于跨模态检索的连贯性视觉语义嵌入

用于跨模态检索的连贯性视觉语义嵌入

作者：周默西安电子科技大学

学位级别：硕士

对于视觉语义嵌入这一任务,现有的方法往往以双极化的方式对待查询样本与候选样本之间的相关性。对于模型而言,这些候选样本只能被看作为与查询样本完全相关或者完全不相关。其中,所有的“不相关”候选样本都会在嵌入空间中被以相同的... 详细信息

对于视觉语义嵌入这一任务,现有的方法往往以双极化的方式对待查询样本与候选样本之间的相关性。对于模型而言,这些候选样本只能被看作为与查询样本完全相关或者完全不相关。其中,所有的“不相关”候选样本都会在嵌入空间中被以相同的边距均等地推离查询样本,而它们与查询样本之间实际上多样化的相关性则被完全忽略。这一实践忽视了数据之间相对的区分性信息,并且会在检索任务中带来次优的排序结果,以及更差的用户体验。尤其是在长尾查询场景中,候选数据库中不一定存在一个完美的匹配,此时这一实践带来的劣势会更加明显。针对这一问题,本文（1）首先引入一个用于建模查询样本和候选样本之间的相关性的连续变量,并提出根据这样的连续变量学习一个连贯的视觉语义嵌入空间。在一个连贯的视觉语义嵌入空间中,具有更高相关性的样本会被映射到离查询样本更近的位置,而相对具有更低相关性的样本会被映射到更远的位置。然而在实践中,采集具有这样连续变量的大规模数据集并不现实,因此本文提出通过转换跨模态相似度问题为单模态相似度问题来得到近似结果;（2）同时,通过扩展现有的三元组损失函数所对应的的不等式为一个更加一般化的不等式链,本文提出一个新的阶梯损失函数,并用于实现在嵌入空间中可变的推离边距。其中,不等式链的每个部分均被转化为绞链损失函数的形式并最终组成阶梯函数;（3）本文也基于肯德尔排序相关性系数提出一个新的的连惯性分数指标,用于更加妥当地衡量那些不完全相关候选样本之间的排序结果质量。该指标克服了此前相关工作中所采用的K召回指标忽视非真值候选样本,从而不能合理体现整体排序质量的问题。该方法已经在多个常用的视觉语义数据集,包括Flickr30K和MS-COCO上进行了大量的实验验证。实验结果显示该方法的性能相对现有最好方法有着大幅提升,在保持高的召回率指标的同时,大幅提高了连贯性分数。定性的可视化结果也显示本文所提出方法对用户体验的提升效果。可以预期,本文提出的方法在常规和长尾查询场景下均可提升检索结果排序质量以及用户体验。

关键词：视觉语义嵌入跨模态检索三元组排序损失函数阶梯损失函数长尾查询问题

融合图表示与多重视觉语义嵌入机制的多标记图像分类算法研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合图表示与多重视觉语义嵌入机制的多标记图像分类算法研究与实...

作者：周彤北京交通大学

学位级别：硕士

多标记图像分类是计算机视觉领域的一项基本任务,因十分契合真实视觉应用场景和人类基本认知习惯,多标记图像分类在现实应用和科研理论层面均得到了快速的发展。多标记图像具有的丰富语义信息和复杂依赖关系在为多标记图像分类提供有力... 详细信息

多标记图像分类是计算机视觉领域的一项基本任务,因十分契合真实视觉应用场景和人类基本认知习惯,多标记图像分类在现实应用和科研理论层面均得到了快速的发展。多标记图像具有的丰富语义信息和复杂依赖关系在为多标记图像分类提供有力信息支撑的同时也带来了诸多挑战。首先,待处理多标记图像通常包含不同大小、形状、视角和布局的多个对象,特征学习过程相较单标记图像更为复杂。其次,由于多个对象通常同时出现在图像中,因此标记依赖关系的刻画也尤为重要。最后,训练数据中存在的噪声标记会极大程度上影响模型分类的准确性,因此探究模型对于噪声数据的鲁棒性也成为多标记图像分类研究亟待解决的问题。本文针对多标记图像分类任务中的标记关系挖掘、先验知识利用、标记噪声去除等问题,结合图表示学习和视觉语义嵌入机制的优势,有效融合丰富外部先验知识,从不同角度、维度挖掘标记之间深层依赖关系,提升多标记图像分类性能。主要研究贡献如下:(1)基于视觉语义图嵌入的深度多标记图像分类算法多标记图像分类的核心挑战在于捕获标记之间的空间或时间上的依赖关系。针对这种重要的依赖关系,算法提出将图表示与视觉语义嵌入机制相结合,通过图卷积网络捕获标记之间共现关系,从而学习到更为适当的标记表示。同时,不同于以往图像视觉表征学习的方式,模型将图像看作指导标记排序的向导,利用图像生成指导方向以寻找图像与标记间的关联性。在优化层面,为了提高标记排序的效率,提出一种新的自适应动态权值排序损失函数,有效避免标记成对采样过程,并且更关注类间标记的相对排序关系,在减少计算量的同时保证模型分类精度。在不同多标记图像分类数据集上的各种实验和对比结果证明了该多标记图像分类算法的有效性。(2)基于异构先验知识的深度多标记图像分类算法在建模标记依赖关系的过程中,通常选用词向量作为标记的初始特征表示。然而,词向量基于语义空间中大量文本先验知识得到的,直接运用忽略了语义信息在不同图像数据间的差异性。同时,语义空间的大量冗余语义信息也被引入模型计算过程,从而影响分类精度。为了解决该问题,算法提出利用不同先验知识的异构特性来缓解冗余信息的负面影响。具体来说,为了能够利用存在于不同空间内的全局和局部标记依赖关系,模型首先为每个标记分别构建视觉类原型和语义类原型作为其先验表示,然后利用图卷积网络实现对标记的全局与局部依赖关系建模,从而生成视觉和语义两个多标记图像分类器。另外,为了缓解外部冗余信息的负面影响,模型对视觉空间和语义空间的预测结果添加一致性约束,利用数据异构性来提高模型分类性能。在三个公开多标记图像数据集上的大量性能测试和消融实验验证了所提出方法的有效性。

关键词：多标记图像分类深度学习视觉语义嵌入图表示学习

基于视觉语义嵌入的图像-文本跨模态实体分辨

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于视觉语义嵌入的图像-文本跨模态实体分辨

作者：曾志贤国防科技大学

学位级别：硕士

实体分辨是数据质量领域的19个研究主题之一。图像-文本跨模态实体分辨旨在找到具有相同语义的图像和文本。然而,图像-文本跨模态数据存在底层数据特征异构、高层特征语义相关的特点,即“异构鸿沟”和“语义鸿沟”的问题。针对以上问题... 详细信息

实体分辨是数据质量领域的19个研究主题之一。图像-文本跨模态实体分辨旨在找到具有相同语义的图像和文本。然而,图像-文本跨模态数据存在底层数据特征异构、高层特征语义相关的特点,即“异构鸿沟”和“语义鸿沟”的问题。针对以上问题,论文采用视觉语义嵌入框架,从模态内语义关联、池化策略、数据增强和跨模态三元组损失函数四个方面进行了以下研究。由于深度学习模型极好的非线性拟合能力,针对现有的基于视觉语义嵌入的图像-文本跨模态实体分辨模型并不能很好地构建模态内数据细粒度语义关联和生成全局表征的问题,提出基于图推理和池化操作的视觉语义嵌入方法。使用图卷积神经网络构建图像和文本数据模态内细粒度语义关联,采用统一的池化操作将细粒度特征映射聚合生成全局向量表示,进行跨模态数据语义对齐。为图像-文本跨模态实体分辨提供了一个可供改进的模型。在前一项工作的基础上,针对视觉语义嵌入聚合器引入了新的训练参数和忽视细粒度特征信息关联的问题,对模型进行优化,提出了一种基于Softmax池化的视觉语义嵌入方法。首次将Softmax池化操作引入视觉语义嵌入模型,在不引入新的训练参数的情况下,自适应的计算细粒度特征值间的权重,加权求和生成全局统一表征,同时保留细粒度特征间的关联信息,降低运行时间,提高模型性能。然而,现有的视觉语义嵌入方法依赖于大量的标注数据,并未采用数据增强技术扩充训练数据。针对该问题,提出了一种适用图像-文本跨模态实体分辨的数据增强方法。采用预测替换、随机删除和随机替换对文本进行数据增强;采用对图像目标识别的细粒度特征进行预测替换方式对图像进行数据增强。实验验证了数据增强技术的普适性,能够有效降低训练样本量、提高模型性能。最后,在跨模态数据语义对齐上,针对现有的难负样本跨模态三元组损失收敛速度慢的问题,提出了一种统一跨模态三元组损失函数,通过引入两个控制跨模态三元组和锚点的伸缩因子,使得模型优化过程中能够更加关注难负样本三元组和难锚点,同时也不忽视那些已经优化的样本,显著提高模型的收敛速度和泛化能力。论文采用视觉语义嵌入框架解决图像-文本跨模态实体分辨问题,针对语义关联、池化策略、数据增强和语义对齐中存在的问题开展研究工作,分别提出对应的解决方法,对解决图像-文本跨模态实体分辨问题,切实提高数据质量具有重要的理论价值和应用价值。

关键词：跨模态实体分辨视觉语义嵌入特征提取语义关联数据增强池化策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

零样本图像识别

电子与信息学报 2020年第5期42卷 1188-1200页

作者：兰红方治屿江西理工大学信息工程学院赣州34100

深度学习在人工智能领域已经取得了非常优秀的成就,在有监督识别任务中,使用深度学习算法训练海量的带标签数据,可以达到前所未有的识别精确度。但是,由于对海量数据的标注工作成本昂贵,对罕见类别获取海量数据难度较大,所以如何识别在... 详细信息

深度学习在人工智能领域已经取得了非常优秀的成就,在有监督识别任务中,使用深度学习算法训练海量的带标签数据,可以达到前所未有的识别精确度。但是,由于对海量数据的标注工作成本昂贵,对罕见类别获取海量数据难度较大,所以如何识别在训练过程中少见或从未见过的未知类仍然是一个严峻的问题。针对这个问题,该文回顾近年来的零样本图像识别技术研究,从研究背景、模型分析、数据集介绍、实验分析等方面全面阐释零样本图像识别技术。此外,该文还分析了当前研究存在的技术难题,并针对主流问题提出一些解决方案以及对未来研究的展望,为零样本学习的初学者或研究者提供一些参考。

关键词：零样本学习深度卷积神经网络视觉语义嵌入泛化零样本学习

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于生成对抗网络的跨模态图像修改方法研究

基于生成对抗网络的跨模态图像修改方法研究

作者：聂倩倩北京交通大学

学位级别：硕士

图像生成一直是人工智能学科的重点研究领域之一。从2014年开始,由于生成对抗网络的出现,该领域进入了一个全新的发展阶段。图像生成应用十分广泛,既可用于生成逼真数据、填补缺失数据,也可以用于强化学习、解决多模输出问题等。传统的... 详细信息

图像生成一直是人工智能学科的重点研究领域之一。从2014年开始,由于生成对抗网络的出现,该领域进入了一个全新的发展阶段。图像生成应用十分广泛,既可用于生成逼真数据、填补缺失数据,也可以用于强化学习、解决多模输出问题等。传统的单模态图像生成模型的输入一般是原始图像或者随机噪声,该类模型一般只能在两个域或多个域之间进行图像转换,模型生成能力受到很大的制约,灵活性不足。相比之下,基于文本描述的跨模态图像生成模型由于文本信息的引入而具有了很大的灵活性。本文主要致力于跨模态图像修改模型的相关研究,它是跨模态图像生成研究领域的子领域。该类模型目前存在以下三点问题,首先,现有的跨模态图像修改模型主要在花鸟数据集上进行研究,实际应用价值不高;其次,由于文本和图像是不同模态的数据,因此需要考虑如何精确地将这二者进行互相映射;最后,图像生成质量低、细节模糊等问题普遍存在于该类模型中。针对上述问题本文提出了新的解决方案。本文的主要工作和贡献如下:首先,为VeRi776交通数据集手工标注文本描述。当前可用于跨模态图像修改工作的数据集十分稀少,相关工作大都在CUB-200-2011 Birds和Oxford 102 flowers数据集上进行,趣味性有余,但实际应用价值并不高。鉴于上述原因,本文在开展工作时,首先选择手工标注VeRi776交通数据集,该数据集被广泛应用于智能交通领域的研究中。本文在该数据集上进行跨模态图像修改工作的成果可直接应用于智能交通领域的各种下游任务如车型识别、车辆分类、车辆跟踪和车辆再识别等。第二,提出了一种基于生成对抗网络的跨模态图像修改模型。针对我们所标注的跨模态交通数据集图像对应文本描述少、图像质量不高等问题,本文设计了跨模态图像修改模型。在图像修改模型的生成器中,本文采用两阶段式生成模型,以期更好地捕捉原始图像细节信息。与此同时,鉴于文本描述过少的问题,本文采用了文本自适应判别器,使得模型可以高效地获得细粒度的文本与图像之间的对应关系。我们在自行标注的跨模态交通图像数据集上进行了充分的实验,从主观视觉评价和客观量化两个角度验证了本文模型的有效性。第三,提出了融合注意力机制的跨模态图像修改模型。我们在跨模态图像修改模型的图像特征提取模块中加入通道-空间注意力网络和自注意力层,增强了细粒度的图像特征与文本特征的映射关系,使得模型对图像的全局特征以及局部特征的提取效果更为理想。我们对加入注意力机制前后的模型生成的图像进行了主观评价和客观量化,充分地验证了融合注意力机制的方法的有效性。

关键词：图像修改生成对抗网络跨模态视觉语义嵌入

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的跨模态图像生成研究

基于生成对抗网络的跨模态图像生成研究

作者：岳珂北京交通大学

学位级别：硕士

图像生成问题作为机器学习领域的一个重要问题,近年来更是随着生成对抗网络的兴起而吸引了越来越多的研究关注,这种生成式模型除可以直接用作于对某些缺失数据的增补、产生接近真实的数据之外,也可以用于诸如验证模型对于高维概率分布... 详细信息

图像生成问题作为机器学习领域的一个重要问题,近年来更是随着生成对抗网络的兴起而吸引了越来越多的研究关注,这种生成式模型除可以直接用作于对某些缺失数据的增补、产生接近真实的数据之外,也可以用于诸如验证模型对于高维概率分布问题表达能力、处理多模输出问题以及用于强化学习等。常规的单模态图像生成任务基于随机噪声或者基础图像的输入,通过条件变量的控制实现朝着一种或者数种固定模式的方向变换,然而借由这种方式训练得到的网络在一定程度上限制了网络本身的生成能力,相比之下,文本信息的引入则可以为网络带来更大的灵活性,通过将语义信息与图像特征进行关联,进而借由文本输入的改变来实现生成图像的变化。较之于传统单模态的图像生成而言,除了对跨模态信息的使用网络构建外,这种跨模态的语义图像生成问题中还存在着如何将文本和图像两种不同模态数据进行相互映射的问题。同时在现有跨模态图像生成中,尤其是文本引导的图像修改任务中还存在着诸如生成图像质量不高、分辨率较低的情况,为此本文针对现有文本引导的图像修改任务相关研究方法中的不足,提出新的解决方案,主要工作和贡献如下:首先,提出了新的渐进式跨模态图像生成网络模型。现有研究方法中对于网络的生成器部分均采用直接将原始图像中提取的视觉特征与语义特征简单拼接后再进行转换的方式实现,而对鉴别器则采取不同的损失函数设计,借以增强两种模型间的对抗训练过程、提升生成模型能力。而随着图像分辨率的提升,这种对抗性的网络训练也将变得更加困难,为此我们考虑采用渐进式的生成方式从低分辨率图像的生成开始,借由提出的联合模块实现在逐级对图像内容进行修改的同时也为其引入更多的原始细节信息。为验证本文中所提出网络模型的效果,我们还在细粒度图像数据集CUB-200-2011上进行对比实验,对所提出网络的有效性进行验证。其次,针对当前条件下图像数据丰富而与图像相匹配的细粒度视觉描述的文本数据紧缺的情况,本文中对所使用的统一跨模态视觉语义嵌入模型结合双线性注意力池化方法进行改进,在增强对细粒度描述的视觉特征与语义特征的映射关系建立的同时减少这一过程中来自于背景图像的干扰,从而使得网络可以在一定程度的小样本条件下仍能正确地根据语义信息实现相应的图像生成效果,此外为了对改进后的模型效果进行验证,本文中还将其与原始方法进行了详细的比较,充分验证了改进后方法的优越性。

关键词：生成对抗网络图像生成语义图像生成跨模态视觉语义嵌入

融合视觉语义分析的视频缩略图推荐技术研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合视觉语义分析的视频缩略图推荐技术研究与实现

作者：张梦琴哈尔滨工业大学

学位级别：硕士

随着深度学习技术的发展,计算机视觉与自然语言处理两个领域之间的连接日益紧密,使得视觉理解与语言建模成为跨模态信息交互的一个整体,也让视觉语义分析领域越来越受关注。视频概述技术现已成为视觉语义分析领域的热点研究方向,主要研... 详细信息

随着深度学习技术的发展,计算机视觉与自然语言处理两个领域之间的连接日益紧密,使得视觉理解与语言建模成为跨模态信息交互的一个整体,也让视觉语义分析领域越来越受关注。视频概述技术现已成为视觉语义分析领域的热点研究方向,主要研究将视频的视觉信息转换为自然概述语句语义信息的过程。本文将视觉语义分析融合到视频缩略图推荐中,提出一种融合视觉语义分析的视频缩略图推荐技术,主要分析视觉信息与语义信息之间的跨模态交互,从而为视频推荐融合概述语句语义信息的缩略图。因此,本文将在研究视频概述技术的基础上,主要研究融合语义相关性的视频缩略图推荐技术。本文的主要研究成果和贡献如下:（1）针对视频概述任务,本文提出一种融合多模态注意力机制的视频概述方法,能够融合多模态注意力机制为该任务的不同阶段提供更丰富的多模态特征。该方法将视频的多标签分类属性作为先验特征,融合视觉和属性注意力机制来为生成每个单词时的解码器挑选当前感兴趣的视觉特征与属性特征。此外,该方法还建立融合语义注意力机制的视觉重建框架,将生成的概述语句重建为视觉特征。实验结果表明,所提方法能够提高视频概述任务的性能,且与目前主流方法相比具有较强的优势。（2）为了分析视频帧的视觉信息与概述语句的语义信息之间的跨模态交互,本文提出一种基于深度视觉语义嵌入的视频缩略图推荐框架。该框架构建一种深度视觉语义嵌入模型,能够将视频帧的视觉信息与描述语句的语义信息嵌入到维度与表示形式均相同的潜在空间,在该空间中挑选与语义特征余弦相似度最高的视觉特征所对应的关键帧作为关键缩略图。实验结果表明,该框架能够有效地从视频中推荐出具有视觉代表性且与给定描述语句语义较相关的视频缩略图序列。（3）为了更直接地表示语义信息与视觉信息之间的相关程度,本文提出一种基于视觉语义注意力机制的视频缩略图推荐框架。该框架构建一种视觉语义注意力模型,能够通过注意力机制计算当前概述语句的语义特征对所有关键帧的视觉特征的注意力权重,并挑选权重最大的视觉特征所对应的关键帧作为关键缩略图。实验结果表明,该框架能够为视频推荐同时具有视觉与语义代表性的视频缩略图序列,并且比本文提出的第一种视频缩略图推荐框架的效果更好。为了验证以上三种算法在视频缩略图推荐任务中的应用效果,本文设计并实现一个融合视觉语义分析的视频缩略图推荐系统,实现了自动视频概述功能、自定义视频缩略图推荐功能以及融合视频概述语句语义信息的自动视频缩略图推荐的功能。

关键词：视觉语义分析视频概述视频缩略图推荐注意力机制视觉语义嵌入

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的服装检索与搭配推荐算法研究

基于深度学习的服装检索与搭配推荐算法研究

作者：匡立洋西安电子科技大学

学位级别：硕士

服装行业的市场规模呈现稳定增长趋势,无论是服装电子商务还是实体经济,近几年都得到高速发展。随着电子商务的发展,服装商品信息爆炸式增长,如何从海量的服装数据中筛选出有用的信息,如何利用这些信息去创造更高的价值,成为了当今服装... 详细信息

服装行业的市场规模呈现稳定增长趋势,无论是服装电子商务还是实体经济,近几年都得到高速发展。随着电子商务的发展,服装商品信息爆炸式增长,如何从海量的服装数据中筛选出有用的信息,如何利用这些信息去创造更高的价值,成为了当今服装电子商务亟待解决的问题;与此同时,受到电子商务的冲击,传统的实体经营方式亟待改革,如何使线下购物更加便捷,以提升消费者的购物体验,是促进实体经济发展亟待解决的问题。为解决以上问题,基于深度学习理论,本论文研究并实现服装分类、检索和搭配推荐的方法:首先,我们提出了基于多任务学习的服装多标签分类方法。本论文基于SE模块(Squeeze and Excitation)、空洞卷积和多特征图融合的方法,设计了SDDN网络(Residual Network with Squeeze and Excitation,Dilated Convolution,Diverse features Fusion)。另外,本论文基于SDDN网络,结合服装类别、尺度和设计分类任务,实现网络的多任务学习,充分利用了数据与任务间的相关性,提升了分类性能。接下来,我们提出了基于多特征融合的服装检索方法。本论文基于多任务分类网络提取的类别、尺度和设计任务的深度特征,结合颜色特征,实现了基于多特征融合的服装检索。相比于单特征的检索方法,本论文检索方法的检索准确率更高。结合视觉语义嵌入和服装风格向量,本论文提出了有序、无序两种个性化服装搭配推荐方法。其中,基于Bi-LSTM(Bilateral Long Short-Term Memory)网络,本论文构建了有序搭配网络,将服装组合视为自上而下的服装序列,通过序列预测实现搭配推荐;另外,基于Aggregated Net,本论文构建了无序搭配网络,将服装组合视为服装集合,通过分析服装信息分布实现搭配推荐。通过提取用户兴趣库的融合嵌入向量组,并利用K-Means聚类出用户的风格向量,结合风格向量进行搭配预测,本论文能够实现服装的个性化搭配推荐。最后,基于本论文提出的服装分类、检索与搭配推荐方法,我们设计了实体店智能服装导购系统,该系统可以广泛应用于服装行业中,用于服装的智能导购、信息检索和搭配推荐等。

关键词：深度学习服装分类服装检索服装搭配推荐多任务多特征视觉语义嵌入