检索结果-南通市图书馆

SENet生成对抗网络在图像语义描述中的应用

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

光学精密工程 2023年第9期31卷 1379-1389页

作者：刘仲民陈恒胡文瑾兰州理工大学电气工程与信息工程学院甘肃兰州730050 西北民族大学数学与计算机科学学院甘肃兰州730000 甘肃省工业过程先进控制重点实验室甘肃兰州730050

针对图像语义描述过程中存在的语句描述不够准确及情感色彩涉及较少等问题,提出一种基于SENet生成对抗网络的图像语义描述方法。该方法在生成器模型特征提取阶段增加通道注意力机制,使网络能够更加充分和完整地提取图像中显著区域的特征... 详细信息

针对图像语义描述过程中存在的语句描述不够准确及情感色彩涉及较少等问题,提出一种基于SENet生成对抗网络的图像语义描述方法。该方法在生成器模型特征提取阶段增加通道注意力机制,使网络能够更加充分和完整地提取图像中显著区域的特征,将提取后的图像特征输入到编码器中。在原始文本语料库中加入情感语料库且通过自然语言处理生成词向量,将词向量与编码后的图像特征相结合输入到解码器中,通过不断对抗训练生成一段符合该图像所示内容的情感描述语句。最后通过仿真实验与现有方法进行对比,该方法的BLEU指标相比SentiCap方法提高了15%左右,其他相关指标均有提升。在自对比实验中,该方法在CIDEr指标上提高3%左右。该网络能够很好地提取图像特征,使描述图像的语句更加准确,情感色彩更加丰富。

关键词：图像语义描述生成器模型特征提取对抗训练通道注意力

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

图像语义描述算法研究及在农业中的应用

图像语义描述算法研究及在农业中的应用

作者：李晓中国矿业大学

学位级别：硕士

农业规模的不断扩大,推动着我国实现农业现代化、智能化进程,如何对农作物生长状况、环境信息的实时采集并准确地对异常状况报警提示极为重要。基于编码-解码的图像语义描述算法于2014年被提出,成功地将图像-文本嵌入模型与多模态神经... 详细信息

农业规模的不断扩大,推动着我国实现农业现代化、智能化进程,如何对农作物生长状况、环境信息的实时采集并准确地对异常状况报警提示极为重要。基于编码-解码的图像语义描述算法于2014年被提出,成功地将图像-文本嵌入模型与多模态神经语言模型进行联合,它对实现任意场景下不同农作物生长状况的实时监测、识别具有重要作用。本文在图像全局特征的基础上增加图像属性特征,同时对双向长短时记忆网络的网络深度进行研究。本文的主要研究内容如下:针对图像全局特征提取的粗糙性,增加图像属性特征,实现多特征表示。属性提取(AE-SSD)结构采用SSD(Single Shot multibox Detector)网络构建,将SSD网络的前置网络替换为Res Net-50残差网络。其次,为充分利用句子过去和将来的上下文信息预测语义,学习更具代表性的特征,在双向长短时记忆(Bi-LSTM)网络的基础上对其进行纵向加深,设计多模态双向长短时记忆(multimodal BiLSTM)网络。最后,将模型在公共数据集上进行实验,并将其实验结果与其它算法进行对比。制作农业场景数据集,将其作为提出模型的应用数据集,并对实验结果和描述文本进行分析。为解决传统算法仅依靠全局特征表示而存在的特征粗糙、丢失信息等问题,本文在此基础上增加图像属性特征,同时使用全局特征和属性特征表示图像信息,提出基于多特征提取的图像语义描述算法。在该模型中,采用SSD网络构建图像属性提取结构,将SSD网络的前置网络VGG-16替换为Res Net-50残差网络,增加一层特征提取层。之后将该模型在公共数据集进行实验,对实验结果进行分析,验证了图像属性提取结构的有效性,两种类型的图像语义信息更能准确描述图像信息。为了能够充分利用句子过去和将来的上下文信息预测语义,学习更具代表性的特征,将多个长短时记忆网络(LSTM)层堆叠为隐藏层到隐藏层的转换,在Bi-LSTM网络的基础上设计了multimodal Bi-LSTM网络。在公共数据集上进行实验和分析,分别从评价指标和描述效果对其进行展示。由实验结果可知,multimodal Bi-LSTM网络能够充分利用句子过去和将来的上下文信息预测语义,学习更具代表性的特征,生成涵盖丰富语义信息的语句,并且更加符合人类表达。本文后续采集西红柿叶片图像,将其制作为农业场景数据集,实现基于多特征提取的图像语义描述算法在农业场景中的应用。在制作农业数据集的过程中,通过数据集扩增方法对其进行扩充,利用中值滤波对采集图像进行去噪预处理。使用该数据集训练本文模型,实现农业场景下农作物生长状况的语义描述。本文包括图34幅,表10个,参考文献84篇。

关键词：图像语义描述图像属性提取多模态双向长短时记忆网络农业

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

图像语义描述技术研究及煤矿场景应用

图像语义描述技术研究及煤矿场景应用

作者：尹良飞中国矿业大学

学位级别：硕士

图像场景语义描述是计算机视觉和自然语言处理领域的交叉任务,其目标是对视觉数据给出语义解释,实现从视觉空间到语义空间的映射。视觉语义描述技术研究不仅在学术界成为热点,也在工业界得到越来越多的关注,具有广阔的应用前景,如对工... 详细信息

图像场景语义描述是计算机视觉和自然语言处理领域的交叉任务,其目标是对视觉数据给出语义解释,实现从视觉空间到语义空间的映射。视觉语义描述技术研究不仅在学术界成为热点,也在工业界得到越来越多的关注,具有广阔的应用前景,如对工业视频监控系统的智能化推进。当前,煤矿视频监控系统已经在井下普遍应用,但对于异常场景只是通过监控人员观察视频进行识别,然后采取应对措施解决,效率较低;并且其应用规模已远超人力观察范围,监控视频更多只用作事后取证,较多隐患问题不能早期识别与处理。将图像语义描述技术应用于煤矿监控视频系统可以实现煤矿视频监控在线智能化,大幅提升煤矿安全管理水平和事件处理效率。由于图像底层的视觉特征与高层的语义概念存在很大差异,目前的图像场景语义描述算法仍然存在较多不足,如确定图像的关注重点、挖掘更高层次的语义信息以及完善描述句子的细节信息等。因此本文针对图像语义描述技术存在的上述问题进行改进,提出基于Global-local Feature和Adaptive-attention图像语义描述算法,并将其应用于实际场景。本文的研究内容如下:(1)提出基于Global-local Feature和Adaptive-attention图像语义描述算法。在编码部分加入图像的局部特征,将局部特征与全局特征融合输出,以提取图像更细节的信息;解码部分引入自适应注意力机制,自适应学习描述文本生成过程中视觉特征和已生成语义单词特征权重,对输入图像生成更全面、更准确、更细致的语义描述。(2)将本文提出的基于图像语义描述算法在公共数据集上进行实验,并实现系统展示。将本文算法与目前主流图像语义描述算法进行对比实验,由结果可知,本文提出的图像语义描述方法可以更全面、更准确、更细致地对图像内容进行描述;描述效果较其他图像语义描述模型的描述效果更好。设计基于Web前端展示的图像场景描述系统,使得用户可以通过浏览器客户端调用已训练好的模型实现在线图像场景语义描述。(3)创新性地将本文提出的图像语义描述算法应用于煤矿场景。获取煤矿监控视频帧图像,并做截取关键区域和去噪预处理,制作煤矿场景语义描述数据集;利用煤矿场景数据集训练图像语义描述模型,实现对煤矿场景图像的语义描述输出;设计煤矿场景的语义描述系统,实现对井下煤矿监控视频的实时语义描述输出,对异常场景作出提醒输出。

关键词：图像语义描述全局-局部特征自适应注意力机制煤矿场景应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多特征提取的图像语义描述算法

计算机应用 2021年第6期41卷 1640-1646页

作者：赵小虎李晓矿山互联网应用技术国家地方联合工程实验室(中国矿业大学) 江苏徐州221008 中国矿业大学信息与控制工程学院江苏徐州221008

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络(RNN)产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法。所构建模型由三个部分组成:卷积神经网络(CNN)用于图像特征提取,属性提取模型(ATT)用于图... 详细信息

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络(RNN)产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法。所构建模型由三个部分组成:卷积神经网络(CNN)用于图像特征提取,属性提取模型(ATT)用于图像属性提取,而双向长短时记忆(Bi-LSTM)网络用于单词预测。该模型通过提取图像属性信息来增强图像表示,从而精确描述图中事物,并且使用Bi-LSTM捕捉双向语义依赖,从而进行长期的视觉语言交互学习。首先,使用CNN和ATT分别提取图像全局特征与图像属性特征;其次,将两种特征信息输入到BiLSTM中生成能够反映图像内容的句子;最后,在Microsoft COCO Caption、Flickr8k和Flickr30k数据集上验证了所提出算法的有效性。实验结果表明,与m-RNN方法相比,所提出的算法在描述性能方面提高了6.8~11.6个百分点。所提算法能够有效地提高模型对图像的语义描述性能。

关键词：图像语义描述图像属性双向长短时记忆网络卷积神经网络循环神经网络

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向非物质文化遗产的图像语义描述研究

信息资源管理学报 2021年第2期11卷 128-136,F0003页

作者：王若宸朱学芳南京大学信息管理学院南京210023

图像资源在非物质文化遗产的保护工作中扮演着重要角色。针对现有非遗图像资源在呈现和组织中存在的问题,基于已有的成熟理论和方法体系,提出一种专门面向非遗图像语义信息的描述方法。基于Panofsky和Shatford的图像学理论模型构建专门... 详细信息

图像资源在非物质文化遗产的保护工作中扮演着重要角色。针对现有非遗图像资源在呈现和组织中存在的问题,基于已有的成熟理论和方法体系,提出一种专门面向非遗图像语义信息的描述方法。基于Panofsky和Shatford的图像学理论模型构建专门面向非遗数字图像的语义描述框架,针对该框架设计一个完整的图像上下文关键词提取流程,并对该流程进行相应的实验操作和有效性实证研究。实验成功从样本数据中提取出语义关键词信息,表明本文的方法在总体上优于现有的著录体系,能带来更高的精准度和召回率。

关键词：非物质文化遗产图像语义描述关键词提取图像标注图像元数据图像内容描述

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于联合注意力机制的图像语义描述技术

基于联合注意力机制的图像语义描述技术

作者：张蕾湖南大学

学位级别：硕士

近年来,随着人工智能技术的快速发展,图像语义描述方法的性能得到了大幅的改进,尤其是编码器-解码器框架在该任务上的成功应用,解决了传统方法生成句子格式单一、准确度不高的缺点。在编码器-解码器框架中,解码器通过引入注意力机制来... 详细信息

近年来,随着人工智能技术的快速发展,图像语义描述方法的性能得到了大幅的改进,尤其是编码器-解码器框架在该任务上的成功应用,解决了传统方法生成句子格式单一、准确度不高的缺点。在编码器-解码器框架中,解码器通过引入注意力机制来挖掘图像的局部区域特征,从而能够更加准确地预测对应的单词。然而,现有的基于注意力机制的图像语义描述方法在训练模型时同一时刻只能使用单个图像的局部信息,不利于视觉对象共性的学习。同时,当训练图像中存在视觉对象遮掩或视觉对象稀缺时,模型难以准确地预测出这些视觉对象。针对上述问题,本论文研究联合的注意力机制来提升图像语义描述中视觉对象的识别性能。相比于当前的图像语义描述算法,本论文从算法理论,算法结构和应用价值三个方面进行了创新,主要概括如下:1.提出了联合注意力机制的结构。相比于传统的单样本注意力机制,该机制在同一个时刻可以探索多个图像局部区域,从而提高视觉对象的学习能力。2.在算法结构上,提出了虚拟LSTM单元。多个虚拟LSTM单元在同一时刻可以接收多个图像区域特征并同时学习,从而更加准确地捕捉到视觉对象的共性。3.在实际应用中,该方法可以解决不同域上的视觉偏差问题,从而在一定程度上解决了图像语义描述任务中的迁移学习问题,节省了样本标记的成本。为了验证本文方法的有效性,本文在MSCOCO和Flickr30K数据集上进行了大量实验。实验结果表明我们的方法在B-1和F-1指标上提升明显,从而证明了联合注意力机制在图像语义描述中提升了视觉对象的识别准确率。另一方面,相比于前沿方法,我们的方法在各项指标上都展现了更好的性能并在一定程度上解决了图像语义描述领域中的迁移学习问题。

关键词：注意力机制 LSTM 图像语义描述迁移学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合多注意力机制的图像语义描述算法研究

融合多注意力机制的图像语义描述算法研究

作者：郭列西安工程大学

学位级别：硕士

图像语义描述任务关联到机器学习的两大研究方向:视觉方向和机器翻译方向,近年来一直是备受关注的研究任务。伴随着深度学习的快速发展,越来越多的科研人员开始重视图像语义描述任务,逐渐成为研究热点。给定一幅图像,根据图像内容算法... 详细信息

图像语义描述任务关联到机器学习的两大研究方向:视觉方向和机器翻译方向,近年来一直是备受关注的研究任务。伴随着深度学习的快速发展,越来越多的科研人员开始重视图像语义描述任务,逐渐成为研究热点。给定一幅图像,根据图像内容算法可以自动生成描述图像的自然语言。该任务在图文互搜、图像辅助理解等领域具有较强的实际应用价值。近年来,对于如何高效使用图像特征以生成更准确的语义描述成为图像语义描述任务的主要研究方向。本文在当前图像语义描述方法的基础上,在编码器部分引入空间注意力,通道注意力以及自注意力,在解码器部分引入自适应注意力,分别从编码器（encoder）和解码器（decoder）进行了改进研究。首先,本文在现有的图像语义描述编码器中引入空间注意力和通道注意力,提出了融合空间注意力和通道注意力的图像语义描述模型。在生成当前单词时通道注意力机制用来确定图像中的目标对象。不同的通道有不同的激活区域,这意味着在预测一个单词时,只有部分通道会被激活。空间注意力机制用来确定图像目标的位置信息。本文引入了卷积空间注意力机制,模型保留了图像的空间结构,同时,通过更大的感受野来精确地确定每一步应该关注的区域,使得模型关注主要信息,忽略次要信息。本节融合空间注意力机制和通道注意力机制,通过两种不同的维度采用注意力机制,生成具有注意力机制权重的图像特征,进而提高编码器提取特征能力,通过MSCOCO数据集的实验数据对比,融合空间注意力机制和通道注意力机制模型在BLEU,METOR,ROUGE和CIDEr评价指标上均有较大幅度的提升。其次,本文在编码器中引入位置自注意力和通道自注意力,提出了融合位置自注意力和通道自注意力的图像语义描述模型。图像语义描述模型的图像特征通过经典的深度卷积神经网络提取而来,存在着全局特征利用不充分。本节引入自注意力机制自适应的整合局部特征和全局依赖。其中,位置自注意力利用位置的加权求和的方式来聚集每一个位置的特征;通道自注意力使用通道特征选择性的突出某个特征图;融合位置自注意力机制和通道自注意力机制,生成具有自注意力机制权重的图像特征,提高模型的表达能力。通过MSCOCO数据集的实验数据对比,融合位置自注意力和通道自注意力的图像语义描述模型的实验效果相对于经典的算法有显著的提高。最后,本文在decoder部分中融合自适应注意力。解码器在图像语义描述模型中扮演着至关重要的作用,现有的解码器大多数采用长短时记忆网络,由于LSTM网络存在长期记忆存储能力有限的问题。为了更好的解决记忆存储有限的问题,本节引入了自适应注意力机制,其中,自适应注意力机制帮助模型在生成非视觉单词时更多的关注文本信息,在生成视觉单词时更多的关注图像信息,从而提升图像语义描述模型的准确性。通过MSCOCO数据集的实验数据对比,自适应注意力的图像语义描述模型的实验效果相对于传统的算法有很大的提高。图32幅,表7个,参考文献70篇。

关键词：图像处理机器学习注意力机制图像语义描述

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度模型的图像语义描述方法研究

基于深度模型的图像语义描述方法研究

作者：吴欣怡重庆大学

学位级别：硕士

随着现代信息技术的跨越式发展,人们的生活方式逐渐向数字化、网络化、智能化进行转变,用户通过手机、平板、电脑等设备在互联网上传播大量图片,使得图像成为线上信息流通的重要载体。这些图片包含大量自然场景中的图像,面对这些宝贵的... 详细信息

随着现代信息技术的跨越式发展,人们的生活方式逐渐向数字化、网络化、智能化进行转变,用户通过手机、平板、电脑等设备在互联网上传播大量图片,使得图像成为线上信息流通的重要载体。这些图片包含大量自然场景中的图像,面对这些宝贵的图像数据资源,人们希望计算机能够自动分析并理解自然场景下的图像,对其进行有意义的刻画与描述。针对自然场景下的图像语义描述在智能化标注、人机交互、助残服务以及教育领域都具有广阔的应用需求,现如今逐渐成为国内外众多学者和科研机构共同致力的一个研究热点。图像语义描述的本质是让计算机能够对给定图像中的物体进行准确的检测与识别,结合场景信息对图片内容进行理解,最终给出人类能够理解的语言描述。相较于图像分类、图像检测、图像分割等领域,图像语义描述涉及到图像处理与语言建模,因此需要将计算机视觉与自然语言处理两大领域有机统一起来。本文主要工作包含以下内容:本文从机器翻译领域引入“编码器-解码器”框架,构造一个端到端的图像语义描述模型,利用编码器完成特征提取任务,同时利用解码器完成语句描述任务。由于近年来卷积神经网络在图像处理的特征提取能力已得到验证,因此本文设计并构造了一种精细的卷积神经网络模块,使得编码器能够从图像提取出表达能力强的视觉特征。在此基础上引入带注意力机制的基于长短时记忆模型的解码器,使得图像语义描述模型能够有选择地关注特定区域并生成对应单词。基于深度模型的“编码器-解码器”图像语义描述模型能够较好地完成给定任务,然而深度模型普遍具有庞大的规模,其高昂的时间复杂度和空间复杂度制约其在更广阔领域的实施与应用。本文针对“编码器-解码器”的基础组成部分,研究了一种基于网络剪枝与张量分解的混合优化方法,旨在从时间与空间两个维度降低模型的复杂度。首先采用数据驱动的全局监督迭代方法对卷积层进行张量分解,然后根据本文提出的重要度评价标准对卷积核和神经元进行排序,最后将相对不重要的卷积核或神经元从网络剪枝。最后,本文在MS COCO、Flickr 30k等公开数据集对所提出方法进行了评测,实验结果表明上述方法能够快速、准确地对给定图像进行理解,并且能给出符合人类习惯且具有逻辑的语句描述,与同类方法之间的对比分析也证明了本文提出方法的有效性。针对本文模型进行了优化实验分析,实验结果表明所研究方法能够有效降低深度模型的时间复杂度和空间复杂度。

关键词：图像语义描述深度模型卷积神经网络长短时记忆模型模型优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于目标词向量的商品图像语义描述研究

基于目标词向量的商品图像语义描述研究

作者：谢玉玲中国石油大学(华东)

学位级别：硕士

随着全球经济一体化的进程和英特网开放的信息网络发展,电子商务成为了现代服务业中重要的产业。自动生成商品图像准确的语义描述对于提高检索精度和用户购物体验都有着重要的应用价值,传统基于文本特征的商品检索系统有手工标注的局限... 详细信息

随着全球经济一体化的进程和英特网开放的信息网络发展,电子商务成为了现代服务业中重要的产业。自动生成商品图像准确的语义描述对于提高检索精度和用户购物体验都有着重要的应用价值,传统基于文本特征的商品检索系统有手工标注的局限性,基于图像分类和目标检测技术的图像语义描述虽然弥补了这个缺点,可是获取的商品信息单一,简单的语义描述无法再满足如今电商领域商品信息多样性和特征元素多变性的需求,基于搜索引擎方式的电子商务平台信息检索也随之受到了极大的制约。近年来,图像描述在电子商务平台商品检索领域的应用和发展受到了各界的关注,并取得了很大的进展,但仍存在很大的局限性,为了满足商品信息描述的多样性和全面性的需求,本文针对现有问题结合深度学习取得的成果,提出了基于目标词向量的商品图像语义描述研究算法,主要研究内容如下:1、商品的准确分类和目标区域的特征提取是商品描述的重要前提,本文选择卷积神经网络作为图像特征提取的工具,为后续获取图像特征奠定良好的基础。2、根据店铺商品的标题描述特点,对大量文本描述语料进行分析,然后构建相应词向量语言模型挖掘出文本特征获得商品细粒度的特征词。3、使用特征关联的方法,将文本特征与图像特征通过关联规则构建出更高级的语义概念,形成商品图像的语义描述,融合文本特征的信息分析流程提升现有方法的局限性和精度。本文对比了不同的词向量语言模型的优劣势,为获取文本特征工作设计最合适的网络模型,并为特征关联设计最合理的关联规则,训练过程中不断优化网络参数。所提出的模型架构能有效地生成商品图像的语义描述,在评测标准上也明显优于现有的模型,描述语句的商品信息量和精度满足实际应用市场的需求。

关键词：词向量文本特征图像特征特征关联图像语义描述