检索结果-南通市图书馆

结合注意力机制和编码器—解码器架构的化学结构识别方法

在线全文

学校读者我要写书评

暂无评论

中国图象图形学报 2024年第7期29卷 1960-1969页

作者：曾水玲李昭贤张嘉雄丁龙飞赵才荣吉首大学通信与电子工程学院吉首416000 南京理工大学江苏省社会安全图像与视频理解重点实验室南京210094 同济大学电子与信息工程学院上海201804

目的化学结构识别是化学和计算机视觉领域的一个重要问题,传统光学化学结构识别技术在复杂化学结构识别任务中易发生信息丢失或误识别的现象,同时又因为化学物质的结构多样性常导致其无法解析,识别效果不佳。而基于深度学习的模型通常... 详细信息

目的化学结构识别是化学和计算机视觉领域的一个重要问题,传统光学化学结构识别技术在复杂化学结构识别任务中易发生信息丢失或误识别的现象,同时又因为化学物质的结构多样性常导致其无法解析,识别效果不佳。而基于深度学习的模型通常具有网络结构复杂度高、上下文信息易丢失和识别率低的问题。为此,提出一种结合注意力机制和编码器—解码器架构的化学结构识别方法。方法首先,使用改进的ResNet50(residual network)作为特征提取器抓取表征信息;其次,使用BLSTM(bi-directional long-short term memory)作为行编码器为ResNet50提取的表征信息加强空间信息;最后,使用去填充模块和基于覆盖注意力机制的LSTM(long short-term memory)网络作为模型解码器,对化学结构图像进行解码,将编码结果解码为SMILES(simplified molecular input line entry system)序列。结果在Indigo、ChemDraw、CLEF(Conference and Labs of the Evaluation Forum)、JPO(Japanese Patent Office)、UOB(University of Birmingham)、USPTO(United States Patent and Trademark Office)、Staker、ACS(American Chemistry Society)、CASIA-CSDB(Institute of Automation of Chinese Academy of Sciences—Chemical Structure Database)和Mini CASIA-CSDB数据集上,所提方法识别准确率分别为71.1%、70.21%、45.8%、30.3%、53.02%、58.21%、43.39%、46.3%、84.42%和85.78%,高于SwimOCSR、Image2Mol和ChemPix模型得分。结论与其他模型相比,本文方法通过少量训练集能够获得较高的识别准确率。

关键词：化学结构识别编码器—解码器注意力机制残差网络 SMILES(simplified molecular input line entry system)

基于编码器—解码器的联机手写数学公式识别方法研究

在线全文

学校读者我要写书评

暂无评论

基于编码器—解码器的联机手写数学公式识别方法研究

作者：张文君华中师范大学

学位级别：硕士

随着互联网和人工智能技术的快速发展,教育信息化的步伐正在加快,智慧教育的概念已经开始影响并改变着传统的教育方式,而且现代化的电子产品与移动终端都已经全方位的覆盖于教育教学过程中,其中手写识别技术担任着不可或缺的责任。目前... 详细信息

随着互联网和人工智能技术的快速发展,教育信息化的步伐正在加快,智慧教育的概念已经开始影响并改变着传统的教育方式,而且现代化的电子产品与移动终端都已经全方位的覆盖于教育教学过程中,其中手写识别技术担任着不可或缺的责任。目前手写体识别主要是集中在汉字、英文字符以及数字的研究上,并在这几个领域已取得了非常好的成绩,但是这些识别都只局限于一维的空间上,对于诸如数学,物理和化学公式等二维结构分布的识别就显得力不从心。由于数学公式这种二维结构的数据在识别时不仅仅要考虑其中每一个符号的类别,还要考虑各个符号之间的结构位置关系,这对于手写技术的要求非常高,因此该领域的研究还处于初级阶段,需要不断的去探索。据此,本文将针对联机手写数学公式的识别技术进行分析,提出了基于行为链的数据构建方式对数学公式进行处理,结合深度学习模型LSTM来分析数据间的时序关系,帮助更好的分析公式中符号的构成以及符号间的关联关系,并采用编码器—解码器与注意力模型相结合的框架来构建整个联机手写数学公式识别模型(EAD-OHMER)。主要完成的工作如下:1.基于目前处理时序问题较为流行的深度学习模型长短时记忆网络(LSTM)来构建联机手写数学公式识别模型,可以直接将手写笔迹数据作为输入,不需进行符号切分就可以直接识别公式符号,较之前传统的识别方式更加方便准确。2.提出了一种基于行为链的数据构建方法,重点对公式中符号间的关系进行抽象描述,旨在反映符号间的相关性,避免在分析时舍弃符号间的关联性而单独考虑一个符号的类别,其同时也能降低输入网络模型中的数据冗余。3.提出了基于编码器—解码器的联机手写数学公式识别模型(EAD-OHMER),并加入了注意力机制来解决原始编码器—解码器存在输入序列过长时会造成之前信息被覆盖的缺点,较传统公式识别分几个环节单独研究的方式更加简便准确。4.在提出的EAD-OHMER模型基础上,详细介绍了各模块的实现方法,数据的预处理及特征提取,以及行为链的构建和编码器与解码器模型的构建算法及训练过程,模型的输入是(8836,50,210),输出是一个个的数学符号。基于本文所述的方法,在不同的数据集上进行了验证,并在同一数据集下与其他系统对比分析,发现EAD-OHMER在同等条件下有着更好的识别效果。

关键词：行为链编码器—解码器注意力机制联机手写数学公式长短时记忆网络

高分辨率遥感影像建筑物提取的注意力胶囊网络算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

遥感学报 2022年第8期26卷 1636-1649页

作者：许正森管海燕彭代锋于永涛雷相达赵好好南京信息工程大学遥感与测绘工程学院南京210044 淮阴工学院计算机与软件学院淮安223003

高分辨率遥感影像建筑物自动提取在防灾减灾、灾害估损、城市规划和地形图制作等方面具有重要意义。但是,目前常用的传统卷积神经网络模型存在异变性强而同变性弱缺陷。针对该问题,本文提出一种基于通道和空间双注意力胶囊编码—解码网... 详细信息

高分辨率遥感影像建筑物自动提取在防灾减灾、灾害估损、城市规划和地形图制作等方面具有重要意义。但是,目前常用的传统卷积神经网络模型存在异变性强而同变性弱缺陷。针对该问题,本文提出一种基于通道和空间双注意力胶囊编码—解码网络DA-CapsNet(dual-attention capsule encoder-decoder network)的建筑物提取通用模型。该模型通过胶囊卷积和空间—通道双注意力模块增强高分辨率遥感影像中建筑物高阶特征表达能力,实现建筑物遮挡部分以及对非建筑不透水层的准确提取与区分。模型首先利用胶囊编码—解码结构提取并融合多尺度建筑物胶囊特征,获得高质量建筑物特征表达。之后,设计通道和空间注意力特征模块进一步增强建筑物上下文语义信息,提高模型性能。本文选取3种高分辨率建筑物数据集进行试验,最终的平均精度、召回率和F1-score分别为92.15%、92.07%和92.18%。结果表明,本文提出的DA-CapsNet能有效克服高分辨率遥感影像中的空间异质性、同物异谱、异物同谱以及阴影遮挡等影响,实现复杂环境下的高精度建筑物自动提取。

关键词：建筑物提取深度学习通道注意力空间注意力编码器—解码器胶囊网络

在线全文

学校读者我要写书评

暂无评论

医学图像描述综述:编码、解码及最新进展

中国图象图形学报 2023年第7期28卷 1990-2010页

作者：朱翌李秀清华大学深圳国际研究生院深圳518055

随着医疗成像技术的不断提升,放射科医师每天要撰写的医学报告也与日俱增。深度学习兴起后,基于深度学习的医学图像描述技术用于自动生成医学报告,取得了显著效果。本文全面整理了近年来深度医学图像描述方向的论文,包括这一领域的最新... 详细信息

随着医疗成像技术的不断提升,放射科医师每天要撰写的医学报告也与日俱增。深度学习兴起后,基于深度学习的医学图像描述技术用于自动生成医学报告,取得了显著效果。本文全面整理了近年来深度医学图像描述方向的论文,包括这一领域的最新方法、数据集和评价指标,分析了它们各自的优劣,并以模型结构为线索予以介绍,是国内首篇针对医疗图像描述任务的综述。现今的深度医疗图像描述技术主要以编码器—解码器结构为基础进行拓展,包括但不局限于加入检索方法、模板匹配方法、注意力机制、强化学习和知识图谱等方法。检索和模板匹配方法虽然简单,但由于医学报告的特殊性仍在本任务上有不错的效果;注意力机制使模型产生报告时能关注图像和文本的某一部分,已经被几乎所有主流模型所采用;强化学习方法突破了医疗图像描述任务中梯度下降训练法与离散的语言生成评价指标不匹配的瓶颈;知识图谱方法则融合了人类医生对于疾病的先验知识,有效提高了生成报告的临床准确性。此外,Transformer等新型结构也正越来越多地取代循环神经网络(recurrent neural network,RNN)甚至卷积神经网络(convolutional neural network,CNN)的位置成为网络主干。本文最后讨论了目前深度医疗图像描述仍需解决的问题以及未来的研究方向,希望能推动深度医疗图像描述技术真正落地。

关键词：深度学习(DL) 医学图像描述自动医学报告生成编码器—解码器图像字幕

基于门控化上下文感知网络的词语释义生成方法

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2020年第7期34卷 105-112页

作者：张海同孔存良杨麟儿何姗杜永萍杨尔弘北京工业大学信息学部北京100124 北京语言大学国家语言资源监测与研究平面媒体中心北京100083 北京语言大学语言资源高精尖创新中心北京100083 北京语言大学信息科学学院北京100083 云南师范大学华文学院国际汉语教育学院云南昆明650500

传统的词典编纂工作主要采用人工编纂的方式,效率较低且耗费大量的资源。为减少人工编纂的时间和经济成本,该文提出一种基于门控化上下文感知网络的词语释义生成方法,利用门控循环神经网络(GRU)对词语释义生成过程进行建模,自动为目标... 详细信息

传统的词典编纂工作主要采用人工编纂的方式,效率较低且耗费大量的资源。为减少人工编纂的时间和经济成本,该文提出一种基于门控化上下文感知网络的词语释义生成方法,利用门控循环神经网络(GRU)对词语释义生成过程进行建模,自动为目标词生成词语释义。该模型基于编码器—解码器架构。编码器首先利用双向GRU对目标词的上下文进行编码,并采用不同的匹配策略进行目标词与上下文的交互,结合注意力机制分别从粗粒度和细粒度两个层次将上下文信息融合到目标词的向量表示中,最终获得目标词在特定语境中的编码向量。解码器则同时基于目标词的语境与语义信息为目标词生成上下文相关的词语释义。此外,通过向模型提供目标词字符级特征信息,进一步提高了生成释义的质量。在英文牛津词典数据集上进行的实验表明,该文提出的方法能够生成易于阅读和理解的词语释义,在释义建模的困惑度和生成释义的BLEU值上分别超出此前模型4.45和2.19,性能有显著提升。

关键词：释义生成 GRU 编码器—解码器注意力机制

在线全文

学校读者我要写书评

暂无评论

基于多时空图卷积网络的交通流预测

计算机应用研究 2022年第3期39卷 780-784页

作者：戴俊明曹阳沈琴琴施佺南通大学信息科学技术学院江苏南通226019 南通大学交通与土木工程学院江苏南通226019

交通流预测在交通管理和城市规划的应用中具有重要意义,然而现有的预测方法无法充分挖掘其潜在的复杂时空相关性,为进一步挖掘路网道路网络数据的时空特性以提高预测精度,提出一种多时空图卷积网络(multi-spatial-temporal graph convol... 详细信息

交通流预测在交通管理和城市规划的应用中具有重要意义,然而现有的预测方法无法充分挖掘其潜在的复杂时空相关性,为进一步挖掘路网道路网络数据的时空特性以提高预测精度,提出一种多时空图卷积网络(multi-spatial-temporal graph convolutional network,MST-GCN)模型。首先,利用切比雪夫图卷积(ChebNet)结合门控循环单元(GRU)构建时空组件以深度挖掘节点的时空相关性;其次,分别提取周相关、日相关、邻近时间的序列数据,输入三个时空组件以深度挖掘不同时间窗口间的时间相关性;最后,将时空组件与编码器—解码器网络结构(encoder-decoder)融合组建MST-GCN模型。利用加利福尼亚州交通局(Caltrans)性能评估系统中高速公路数据集PEMS04和PEMS08进行实验,结果表明新模型的性能明显优于门控循环单元模型和最近提出的扩散卷积循环神经网络(DCRNN)、时间图卷积网络(T-GCN)、基于注意力机制的时空图卷积神经网络(ASTGCN)和时空同步图卷积网络(STSGCN)模型。

关键词：交通流预测时空相关性编码器—解码器切比雪夫多项式图卷积网络

在线全文

学校读者我要写书评

暂无评论

基于硬注意力机制的多模态视频字幕的处理

计算机应用研究 2021年第3期38卷 956-960页

作者：郭宁宁蒋林华上海理工大学光电信息与计算机工程学院上海200093

传统的视频字幕生成模型大多都采用编码器—译码器框架。在编码阶段,使用卷积神经网络对视频进行处理。在解码阶段,使用长短期记忆网络生成视频的相应字幕。基于视频的时序相关性和多模态性,提出了一个混合型模型,即基于硬注意力的多模... 详细信息

传统的视频字幕生成模型大多都采用编码器—译码器框架。在编码阶段,使用卷积神经网络对视频进行处理。在解码阶段,使用长短期记忆网络生成视频的相应字幕。基于视频的时序相关性和多模态性,提出了一个混合型模型,即基于硬注意力的多模态视频字幕的生成模型。该模型在编码阶段使用不同的融合模型将视频和音频两种模态进行关联,在解码阶段基于长短期记忆网络的基础上加入了硬注意力机制来生成对视频的描述。这个混合模型在数据集MSR-VTT(Microsoft research video to text)上得到的机器翻译指标较基础模型有0.2%~3.8%的提升。根据实验结果可以判定基于硬注意力机制的多模态混合模型可以生成视频的精准描述字幕。

关键词：编码器—解码器多模态融合注意力机制

在线全文

学校读者我要写书评

暂无评论

深度学习在汉藏机器翻译中的应用研究

民族翻译 2018年第3期 51-58页

作者：李博涵刘汇丹龙从军中国科学院软件研究所北京100190 中国社会科学院民族学与人类学研究所北京100081

本文将深度学习技术应用于汉藏机器翻译任务中,采用了编码器—解码器结构。在编码阶段,首先将汉语句子中的每个词映射为定长的词向量,并通过循环神经网络压缩整个句子的全部信息。在解码过程中引入注意力模型,使得解码器更集中注意当前... 详细信息

本文将深度学习技术应用于汉藏机器翻译任务中,采用了编码器—解码器结构。在编码阶段,首先将汉语句子中的每个词映射为定长的词向量,并通过循环神经网络压缩整个句子的全部信息。在解码过程中引入注意力模型,使得解码器更集中注意当前翻译词的上下文依赖词,并每次选择概率最大的翻译词生成目标句子。使用该方法在以法律文本、政府公文、新闻为主的书面语语料和口语类语料上实验,所得数据表明,在书面语语料上,NIST和BLEU分别达到了6.39和0.296;在口语语料上,NIST和BLEU分别达到了5.41和0.222。

关键词：深度学习机器翻译编码器—解码器注意力

基于CNN编码—LSTM解码混合神经网络的智慧家庭用电量预测技术研究

在线全文

学校读者我要写书评

暂无评论

微型电脑应用 2023年第1期39卷 1-3页

作者：张硕周小林张宇唐钧复旦大学信息科学与工程学院上海200433

用电量预测是智能电力系统合理安排发电、输电和配电的必要前提。为了提高用电量预测的精度,提出一种基于CNN编码—LSTM解码的混合神经网络模型。该模型先采用CNN编码器提取特征变量之间的有效信息并编码为定长矢量,再采用LSTM解码器对... 详细信息

用电量预测是智能电力系统合理安排发电、输电和配电的必要前提。为了提高用电量预测的精度,提出一种基于CNN编码—LSTM解码的混合神经网络模型。该模型先采用CNN编码器提取特征变量之间的有效信息并编码为定长矢量,再采用LSTM解码器对时间序列进行建模并解码定长矢量为变长序列。考虑到用电量在不同时间分辨率下的特点,分别在每分、每时、每日、每周的不同采样率下进行用电量预测。以法国巴黎某家庭的实测数据作为实例进行实验,结果表明,与其他模型相比,所提出的模型不论在何种时间分辨率下均具有更高的预测精度。

关键词：用电量预测 CNN LSTM 编码器—解码器