检索结果-南通市图书馆

基于ResNet18特征编码器的水稻病虫害图像描述生成

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

农业工程学报 2022年第12期38卷 197-206页

作者：谢州益冯亚枝胡彦蓉刘洪久浙江农林大学数学与计算机科学学院杭州311300 浙江省林业智能监测与信息技术研究重点实验室杭州311300 林业感知技术与智能装备国家林业与草原局重点实验室杭州311300

针对图像描述算法缺乏在农业领域中的应用,传统模型参数庞大的问题,该研究提出一种基于ResNet18特征编码器的图像描述算法,对作物患病类型进行识别并生成描述。首先,建立水稻病虫害图像描述数据集。其次,使用浅层ResNet18作为编码器,在... 详细信息

针对图像描述算法缺乏在农业领域中的应用,传统模型参数庞大的问题,该研究提出一种基于ResNet18特征编码器的图像描述算法,对作物患病类型进行识别并生成描述。首先,建立水稻病虫害图像描述数据集。其次,使用浅层ResNet18作为编码器,在保证特征提取能力的同时缩减网络模型大小,解码器使用融合了注意力机制的长短期记忆网络(Long Short Term Memory,LSTM)来生成图像描述。试验结果表明,改进后模型尺寸大小为原来的1/3,经过6000次迭代后模型基本收敛,准确率达到98.48%。在水稻病虫害图像描述数据集上,改进编码器-解码器结构后的双语评估替换值(Bilingual Evaluation Understudy,BLEU)和METEOR(Metric for Evaluation of Translation with Explicit ORdering)分别达到0.752和0.404,其余指标结果也明显优于其他模型,具有描述细致准确、鲁棒性强等优点,能够更好地适用于小规模数据集上的训练,可为农作物相似病害特征的自动化描述提供有益参考。

关键词：农业算法图像描述水稻病虫害编码器-解码器框架 ResNet18 注意力机制

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

结合全局-局部特征和注意力的图像描述方法

计算机工程与应用 2022年第12期58卷 218-225页

作者：谢琦彬陈平华广东工业大学计算机学院广州510006

为了进一步提高图像描述生成文本的精度,提出一种结合全局-局部特征和注意力机制的图像描述方法。该方法在传统的编码器-解码器模型上进行改进,从整体角度来看,编码器阶段使用残差网络ResNet101提取图像的全局特征和局部特征,以避免对... 详细信息

为了进一步提高图像描述生成文本的精度,提出一种结合全局-局部特征和注意力机制的图像描述方法。该方法在传统的编码器-解码器模型上进行改进,从整体角度来看,编码器阶段使用残差网络ResNet101提取图像的全局特征和局部特征,以避免对象丢失或对象预测错误问题,在解码器阶段采用嵌入改进后的注意力机制的双向GRU生成文本序列。从局部角度来看,该模型提出的注意力机制是一种独立的循环结构,通过计算图像局部特征向量与语义向量之间的相似度来获取注意力权重,增强图像特征与语义信息之间的映射。在MSCOCO数据集上的实验结果显示,该算法在BLEU、CIDEr、METEOR等评价指标上均获得了不同程度的提升,表明使用该模型生成的描述文本准确度高且细节丰富。

关键词：图像描述注意力机制编码器-解码器框架全局特征局部特征

基于主题控制的中国古代诗歌生成方法研究与应用

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于主题控制的中国古代诗歌生成方法研究与应用

作者：陈宾陕西师范大学

学位级别：硕士

古诗是中华民族灿烂文明史上最伟大的艺术形式之一,它有着优美的韵律、严密的结构,并蕴含丰富的情感,从古至今都以阳春白雪式的唯美和典雅吸引着无数忠诚的追随者,但是普通人想要学习和创作诗歌有着不小的门槛。近些年来随着神经网络的... 详细信息

古诗是中华民族灿烂文明史上最伟大的艺术形式之一,它有着优美的韵律、严密的结构,并蕴含丰富的情感,从古至今都以阳春白雪式的唯美和典雅吸引着无数忠诚的追随者,但是普通人想要学习和创作诗歌有着不小的门槛。近些年来随着神经网络的快速发展,自然语言处理领域也迈上了新的台阶,为诗歌的自动生成实现提供了技术支持。通过相关技术进行诗歌的自动生成研究在弘扬和传承中国传统文化、探索人工智能艺术创作等方面都具有重要意义。本文就中国传统诗歌的自动创作问题展开研究,通过对相关文献的阅读发现现有方法生成的诗歌几乎都存在诗句间语意连贯性差,缺乏主题性的问题。为此本文提出了一种基于主题控制的诗歌生成方法,方法将人在文学创作时先构思后写作的思想引入诗歌自动生成的过程,在生成之前先为诗歌规划一个写作大纲来引导诗歌主题。考虑到大纲的表达能力有限,在此基础上本文还通过LDA主题模型深度挖掘了古诗中潜在的主题信息作为诗歌的主题参考知识,用来在生成诗歌的过程中动态拓展相关主题信息。最终将大纲信息和相关主题信息动态作用到诗歌生成的过程中,使得整个诗歌主题共享进而生成句中意思明确,句间联系密切的诗歌。本文的工作围绕基于主题控制的诗歌生成方法展开,其中主要的创新点如下:1.在之前的相关研究中,关于古诗中分词的任务都是基于现代语境的分词工具完成的,这样往往会破坏古诗中的意境并且会产生大量垃圾碎片,不利于本文训练数据的构造。因此本文基于古诗语境构造了一个分词词表,以在本文的分词任务中借助词表辅助实现高质量的分词,增强了训练数据的质量,进而提升了诗歌生成效果。2.本文提出的基于主题控制的诗歌生成模型在前文信息的基础上融合了大纲信息和相关的主题知识的额外输入,并将这些蕴含先验知识的额外输入通过注意力机制动态的作用到诗歌的生成过程,增强了生成诗歌的主题性。3.为使模型有效地捕获和学习诗歌生成相关的主题主题信息,本文提出了一种基于层次结构的主题信息表示方法,该方法基于自注意力机制从字符和主题词两个粒度对主题信息进行编码表示,最大化的对主题信息进行了保留。最后,针对本文模型进行了多模型对比试验,通过实验表明,本文提出的基于主题控制的诗歌生成模型的生成效果对比所有模型有了一定提升,尤其在连贯性和意义性指标方面,验证了本文模型及所做工作的有效性。

关键词：主题诗歌生成编码器-解码器框架主题模型注意力机制古诗分词

基于多层感知型编解码预测器的图像描述生成方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多层感知型编解码预测器的图像描述生成方法研究

作者：王修贤桂林电子科技大学

学位级别：硕士

图像描述任务是人工智能领域的一项重要任务,其研究动机是使计算机具有“看图说话”的能力。目前,该技术在图像-文本检索和残疾人的日常生活辅助等任务中有着广泛应用,未来在视觉机器人、各种视觉智能服务中都具有广泛的应用价值。近年... 详细信息

图像描述任务是人工智能领域的一项重要任务,其研究动机是使计算机具有“看图说话”的能力。目前,该技术在图像-文本检索和残疾人的日常生活辅助等任务中有着广泛应用,未来在视觉机器人、各种视觉智能服务中都具有广泛的应用价值。近年来,凭借自注意力机制强大的长距离依赖关系建模能力,基于自注意力机制的Transformer网络在图像描述任务中取得了优异的性能。但Transformer模型复杂的结构设计和低下的计算效率严重阻碍了其在图像描述生产任务中的实际应用。近期,多层感知机模型(Multi-Layer Perceptron,MLP)在平衡性能和计算成本方面取得了卓越表现。针对上述问题,本文提出以下三种基于多层感知机模型的图像描述生成方法来实现性能和计算成本的有效平衡。1)针对在直接使用图像的网格状特征作为Transformer模型的输入时,引入相对位置编码带来额外的参数和计算开销的问题,提出了局部-全局多层感知型Transformer(Local and Global Multi-Layer Perceptive Transformer,LG-MLFormer)模型,设计了局部-全局多层感知机(Local-Global MLP,LG-MLP)模块作为LG-MLFormer模型的核心算子。LG-MLP由两个独立的局部多层感知机(Local-MLP,LM)模块和一个跨域全局多层感知机(Cross-Domain Global MLP,CDGM)模块组成。LM模型块通过专门设计线性层之间的映射维度来模拟网格状特征的空间信息,在无需引入相对位置编码的情况下实现空间信息的自我补偿。CDGM模块通过非线性门控机制有效地捕捉了图像的网格状特征和区域特征之间的潜在关联。实验结果表明,提出的LG-MLFormer模型能够生成比目前主流图像描述方法更加准确的图像文本描述。2)针对自注意力机制忽略了不同图像之间的潜在关联性以及无法捕获不同特征间的内部与外部关系信息的问题,提出了一种内部-外部多层感知型编解码预测器(Internal-External Multi-Layer perceptual Transformer,IE-MLFormer)。在编码阶段,提出的内外联控机制和正则化多层感知机模块设计了一种全新的内部-外部多层感知机(Internal-External Multi-Layer Perceptrons,IE-MLP)编码器,使得捕获的视觉语义信息更加丰富。实验结果表明,与主流方法相比,IE-MLFormer在基于MSCOCO的区域特征上取得了先进性能。与基线模型相比整体性能提升8.3%。3)针对Transformer模型结构复杂的和计算效率低下的问题,提出了一个完全基于MLP模块的编解码模型跨域自适应网络(Cross-Modal Adaptive Network,CMANet)。CMANet通过基于动态权重的线性映射来学习视觉和文本特征之间的潜在语义关联,并使用双向解码结构来利用图像到文本和文本到图像的关系。该架构显著提高了跨模态关系建模和语言生成的能力。对MS-COCO数据集的研究结果表明,CMANet在具有更少的参数量和更快的推理速度的同时,性能优于标准的Transformer网络。

关键词：图像描述多层感知机 Transformer模型编码器-解码器框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的POI数据自动分类方法研究

基于深度学习的POI数据自动分类方法研究

作者：范甲昊武汉大学

学位级别：硕士

近年来,大量在线志愿者地理信息(Volunteered geographic information,VGI)涌现,并已成为地理空间数据中最为重要的来源之一。在线兴趣点(Point of interest,POI)数据是最常见的VGI数据类型,具有易于获取、体量大、现势性强的特点。具... 详细信息

近年来,大量在线志愿者地理信息(Volunteered geographic information,VGI)涌现,并已成为地理空间数据中最为重要的来源之一。在线兴趣点(Point of interest,POI)数据是最常见的VGI数据类型,具有易于获取、体量大、现势性强的特点。具有类别性质的POI数据已被频繁地用于土地利用分布、区域功能性识别、空间信息检索、基于LBS的推荐系统、地理知识图谱、人类活动分布和人类流动性等研究领域。POI数据的更新速度极快且更新量级极大,传统的实地考察收集POI数据并人工分类、打标签的方法费时费力;通过在线志愿者地理信息虽然易于获取POI数据,但是这些数据通常分类标准随意、不统一,甚至缺失分类类别信息,一般仍需进行数据清洗或人工二次分类。因此,如何让计算机理解并利用POI数据所包含的信息,基于统一标准,实现POI数据的自动分类显得十分重要。本研究针对当前POI数据自动分类方法难以准确捕捉地名地址中包含的关键信息,且面对多分类任务时准确率不高的缺点,遵循编码器-解码器框架,采用双向长短时记忆神经网络,研究专门针对POI类型识别的神经网络模型,实现了基于地名地址短文本信息的POI自动分类。实验结果表明,地址数据是POI数据分类时的一个重要的补充信息;使用POI地址数据结合地名数据,可以提高模型的训练效果,提高分类准确率。同时,本文设计了多组对比实验,对比实验结果表明,本研究方法的分类准确率明显高于传统的机器学习模型和深度网络模型,在23个大类分类任务和962个小类分类任务上,分类准确率分别平均提高了86.73%和159.37%。

关键词： POI自动分类编码器-解码器框架注意力机制双向长短时记忆神经网络深度学习

基于图像语义表示引导的图像描述生成模型研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于图像语义表示引导的图像描述生成模型研究

作者：朱君君合肥工业大学

学位级别：硕士

图像描述生成任务是为输入图像自动生成相应的自然语言描述文本,这是融合计算机视觉和自然语言处理的交叉任务,在辅助视觉障碍人士、儿童早期教育、图像内容检索等场景中有着非常广阔的应用前景。早期基于模板和基于检索的图像描述生成... 详细信息

图像描述生成任务是为输入图像自动生成相应的自然语言描述文本,这是融合计算机视觉和自然语言处理的交叉任务,在辅助视觉障碍人士、儿童早期教育、图像内容检索等场景中有着非常广阔的应用前景。早期基于模板和基于检索的图像描述生成方法都过度依赖视觉的编码,对解码端语言模型的优化不足。近些年随着深度神经网络的兴起,基于深度学习的图像描述生成方法得到了很好的发展。但是现有方法在图像高层语义信息的捕捉方面仍然存在问题,容易产生重复和简单的描述语句。针对上述不足,本文提出了两种图像描述生成任务的改进方法,以充分利用图像高层语义信息。本文的主要工作概括如下:(1)基于CNN的图像全局网格特征表示和基于Faster R-CNN的图像局部显著区域特征表示的方法,虽然能有效获取图像内容,但是这些表示与解码器所需的表示之间仍然存在较大的语义信息差距,导致描述文本不准确不自然,这也表明单纯依靠图像视觉信息已不能满足跨模态转换任务。针对这一难题,本文提出了基于子描述语义引导的图像描述生成模型,通过构建、拆分图像场景图,从场景图中获取以子描述形态表示的图像高层语义信息,再通过多模态融合机制将语义信息与视觉信息融合对齐来消除冗余信息,最后进行图像描述文本的生成。实验结果表明,融合子描述形态的高层语义信息有助于模型生成高质量的文本描述。(2)图像中经常存在着大量的字符文本等元素,这些字符文本对于场景理解和描述生成经常是至关重要的,然而现有图像描述生成方法很少关注和推理图像中的字符文本,仅是简单地将其作为普通图像特征提取,这导致对图像的理解出现偏差,以至生成的图像描述文本出错。针对此问题,本文提出了一种基于文本高层语义引导的图像描述生成模型,通过构建图像中字符文本的语义图来获得高层语义信息,再通过多模态融合模块将图像视觉信息、全局信息与高层语义信息嵌入共同的语义空间,最后将融合后的高质量特征经过动态指针网络引导解码成图像的细粒度描述。实验结果证实了该方法的有效性。

关键词：图像描述深度学习编码器-解码器框架注意力机制场景图高层语义

基于生成对抗网络的图像描述生成算法的研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的图像描述生成算法的研究与应用

作者：李玉琳电子科技大学

学位级别：硕士

图像描述算法是一种结合计算机视觉和自然语言处理的技术,使计算机能够从图像生成一段描述性文字。图像描述生成算法在视觉辅助、视频分析、智能客服、机器人导航等领域都有着广泛的应用。该算法的难点在于不仅要理解图像中的物体、场... 详细信息

图像描述算法是一种结合计算机视觉和自然语言处理的技术,使计算机能够从图像生成一段描述性文字。图像描述生成算法在视觉辅助、视频分析、智能客服、机器人导航等领域都有着广泛的应用。该算法的难点在于不仅要理解图像中的物体、场景和关系,还要考虑到语法、词汇、句子结构和上下文等多个方面。为解决当前的图像描述算法存在的忽略语言多样性的问题,本文将基于生成对抗网络对图像描述算法展开研究,针对图像描述算法领域较为突出的问题分别从生成对抗网络的生成器端和判别器端进行改进,本文的主要研究内容和贡献如下:1.针对当前基于最大似然估计训练的图像描述算法存在忽略语言的多样性、暴露偏差等问题,本论文使用生成对抗网络构建图像描述算法,其中采用编解码框架构建生成器,判别器基于LSTM网络设计,交替训练生成器和判别器网络,逐渐提高网络生成多样准确描述的能力,同时本文融合了自适应注意力机制。为了解决由于训练和测试数据的分布不同而产生的暴露偏差问题,设计的模型采用强化学习方法进行训练。最后通过在BLEU、METEOR和CIDEr评估指标上的定量实验对比和定性实验分析,验证了改进的算法生成的描述更加多样且准确。2.针对基于注意力机制的图像描述算法存在图像和描述之间语义未能对齐的问题,本文基于第三章算法提出了一种新的方法。该方法借鉴视觉问答领域共同注意力机制的思想,设计了共同注意力判别器,用于对生成的描述进行优化和润色。同时,引入先知注意力机制,使生成器更好地关注与当前时间步相关的图像局部区域。采用多个评价指标的融合奖励函数来引导训练。最后,通过在BLEU、METEOR和CIDEr评估指标上进行定量和定性实验分析,验证了改进的算法能够生成更加细腻和准确的描述表达。3.最后,本文将改进的算法应用于一个基于Android端的图像描述生成系统,旨在为盲人群体提供更好的图像理解体验。该系统能够自行产生图像的文本表述,并且能够使用语音和可视式的接口与客户实现互动,同时还具备距离估计和图像描述的功能,经过多次测试,证明了其可靠性和实用性。

关键词：图像描述算法生成对抗网络编码器-解码器框架注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于眼动注意力机制的文本标题生成方法研究

基于眼动注意力机制的文本标题生成方法研究

作者：谢杰航陕西师范大学

学位级别：硕士

随着在线网络平台的不断普及,网络购物、网络教育、数字娱乐等平台产生的文本数据呈现出惊人的增长,用户每天可以浏览到大量的文本。然而,过多的数据必然带来信息过载的问题。此外,用户在阅读冗长的文本时不仅会感到乏味,还很难获取到... 详细信息

随着在线网络平台的不断普及,网络购物、网络教育、数字娱乐等平台产生的文本数据呈现出惊人的增长,用户每天可以浏览到大量的文本。然而,过多的数据必然带来信息过载的问题。此外,用户在阅读冗长的文本时不仅会感到乏味,还很难获取到有价值的信息。遗憾的是,从大量的文本中选择和吸收所需的信息是具有挑战性的。文本标题自动生成方法是指为给定文本生成一个长度仅有一句的文本标题。鉴于文本标题不仅可以引导用户选择感兴趣的信息,还可以为用户提供基本的文本信息,节省用户浏览文本的时间。因此,研究人员试图通过生成高质量的文本标题来挖掘出源文本的关键信息,从而有效地解决信息过载问题。近年来,随着人工智能技术的飞速发展,越来越多的研究人员通过构建神经网络模型来自动生成文本标题。然而,基于流行的编码器-解码器框架所构建的标题生成模型仅在处理特征较少的短文本时更有效,在为长文本生成标题时的表现较差。此外,以往关于文本标题生成技术的研究主要集中在通过源文本的词频、词性等语法特征来抓住源文本的主要信息,而忽略了基本的诸如眼动数据等用户认知数据,导致生成的文本标题质量较差。为了解决这些问题并生成高质量的文本标题,本文探究了用户在源文本中不同部分的停留时间对生成标题的影响,并基于单词的阅读时间与其重要程度之间的相关性构造出一种眼动注意力机制。在此基础上,我们提出了一种有效的基于神经网络的文本标题生成模型。此外,我们还将所提出的模型与经典的文本标题生成模型进行了对比实验。实验结果表明,我们提出的模型性能明显优于经典的标题生成模型。本文的主要贡献如下:·本文建立了一种眼动注意力机制来捕捉源文本中的重要信息。首先,我们基于三个眼动数据集构建了阅读时间预测模型从而获得了文本单词与其对应阅读时间的映射关系。然后,根据不同单词的阅读时间计算单词的眼动注意力权重,权重较高的单词获得更多的注意。最后,眼动注意力机制识别出源文本中含有关键信息的重要部分。·本文提出了一种基于眼动注意力机制的文本标题生成模型。首先,为了能够准确识别出源文本的关键信息,我们构造了基于门控递归单元的双向编码器来生成上下文语义向量。其次,该模型将眼动注意力权重与上下文语义向量相结合。最后,将其输入到我们的注意力解码器中,生成一个完整的文本标题。·本文设计实验分析了基于不同神经元和单词嵌入方法的阅读时间预测模型的性能。此外,我们还建立对比实验来验证我们所提出模型的有效性。最后,实验结果验证了我们提出的模型能够生成质量更高的文本标题。

关键词：眼动注意力机制文本标题生成神经网络编码器-解码器框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的图像描述生成技术研究

基于注意力机制的图像描述生成技术研究

作者：廖南星中国矿业大学

学位级别：硕士

图像描述生成是一项结合了计算机视觉和自然语言处理的任务,对于给定图像,要求算法根据图像内容自动生成可以描述图像内容的自然语言。该任务在图像辅助理解、图文互搜等领域具有较强的实用价值。近年来,针对如何高效利用图像卷积特征... 详细信息

图像描述生成是一项结合了计算机视觉和自然语言处理的任务,对于给定图像,要求算法根据图像内容自动生成可以描述图像内容的自然语言。该任务在图像辅助理解、图文互搜等领域具有较强的实用价值。近年来,针对如何高效利用图像卷积特征以生成更好的描述语句成为图像描述生成任务的重要研究方向。本文在当前图像描述生成方法的基础上,从特征组合以及高级语义信息的利用上进行了相关研究:1)基于类激活映射机制的图像描述生成方法。本文在现有图像描述生成框架中引入类激活映射机制,提出了基于类激活映射注意力机制的图像描述生成框架(Class Activation Mapping-Attention,CAMA),在生成单词与卷积特征之间建立联系,以实现卷积特征能够与生成单词更好的语义对齐。与其他使用基于空间的特征表达不同,在注意力机制计算之前,就对卷积特征进行组合以得到更合适准确的特征表达,在当前软注意力框架基础上引入类激活映射机制,利用类激活映射机制重新组合由卷积神经网络得到的图像卷积特征。而在图像描述生成部分,为了使解码模块适应类激活映射机制算法,采用双层长短时记忆网络,充分利用图像的全局特征和局部特征,有效提高模型的表达能力。通过MSCOCO、Flickr8k、Flickr30k数据集实验结果对比,对照当前主流模型有较为明显提升,其中MSCOCO上训练的基于ResNet-50的模型在Bleu-2指标上相对于Soft-attend模型提升了7.3%,在Bleu-3指标上相对m-RNN模型提升了10.8%,在Bleu-4指标上相对NIC模型提升了2.5%。2)面向实体特征图像描述生成方法。在基于类激活映射注意力机制的图像描述生成框架的基础上提出面向实体特征描述的图像描述生成方法,从给定图像描述语句中挖掘其中的实体属性标注,并将实体特征引入到当前的编码器解码器框架中来,相较于直接使用词向量聚类的方法,实体特征标注具有更明确的语义信息,也具有更好的表现效果。公开数据集实验上的结果表明,具有明确语义关系的标注得到的图像卷积特征具有更好的效果,明确语义语义信息的图像卷积特征对于图像描述生成任务具有明显帮助,能够从整体上得到图像中物体之间相互关系的语义信息,同时能够从细节得到图像中物体相关的信息。其中在MSCOCO数据集上训练的面向实体特征描述的模型在Bleu-1指标上相对于Soft-attend模型提升了2.9%,在Bleu-3指标上相对于CAMA模型提升了10.5%,在Bleu-4指标上相对于CAMA模型提升了10.7%,在ROUGE指标上相对于CAMA模型提升了3.9%,在CIDEr指标上相对于CAMA模型提升了9.4%。

关键词：图像描述生成视觉注意力机制编码器-解码器框架类激活映射机制长短时记忆网络