检索结果-南通市图书馆

同方期刊数据库

基于多任务和迁移学习的中文医学文献实体识别研究

在线全文

学校读者我要写书评

暂无评论

数据分析与知识发现 2023年第9期7卷 136-145页

作者：韩普顾亮叶东宇陈文祺南京邮电大学管理学院南京210003 江苏省数据工程与知识服务重点实验室南京210023

【目的】利用迁移学习和多任务学习解决中文医学文献实体识别冷启动和边界定位难的问题,进一步提高识别准确性。【方法】提出一种基于迁移学习和多任务学习的中文医学文献实体识别方法,构建混合深度学习BERT-BiLSTM-IDCNN-CRF的医学文... 详细信息

【目的】利用迁移学习和多任务学习解决中文医学文献实体识别冷启动和边界定位难的问题,进一步提高识别准确性。【方法】提出一种基于迁移学习和多任务学习的中文医学文献实体识别方法,构建混合深度学习BERT-BiLSTM-IDCNN-CRF的医学文献实体识别模型,通过实例迁移、模型迁移和特征迁移丰富医学语义特征,利用多任务学习构建粗粒度三分类任务以辅助实体识别任务有效利用实体边界信息,最后引入自注意力机制和highway网络捕获全局重要信息并优化深层网络训练,提出TLMT-BBIC-HS模型。【结果】TLMT-BBIC-HS模型在中文糖尿病医学文献数据集上F1值达92.98%,较基准模型BERT-BiLSTM-CRF和BERT-IDCNN-CRF分别提高15.99个百分点和16.44个百分点。【局限】未验证模型的领域适应性。【结论】TLMT-BBIC-HS模型可实现医学知识的迁移共享,更适用于中文医学文献实体识别任务,可为医疗健康信息抽取、知识图谱和问答系统构建提供有效支持。

关键词：医学文献实体识别多任务学习迁移学习注意力机制 highway网络

在线全文

学校读者我要写书评

暂无评论

基于多级别特征感知网络的中文命名实体识别

中文信息学报 2022年第9期36卷 84-92页

作者：宋威周俊昊江南大学人工智能与计算机学院江苏无锡214122 江南大学江苏省模式识别与计算智能工程实验室江苏无锡214122

当前中文命名实体识别方法仅采用字级别或词级别特征方法进行识别,不能兼顾字和词级别的优点,难以获取足够的字形或者词义信息。针对此问题,该文提出一种基于多级别特征感知网络的中文命名实体识别方法。首先提出一种双通道门控卷积神... 详细信息

当前中文命名实体识别方法仅采用字级别或词级别特征方法进行识别,不能兼顾字和词级别的优点,难以获取足够的字形或者词义信息。针对此问题,该文提出一种基于多级别特征感知网络的中文命名实体识别方法。首先提出一种双通道门控卷积神经网络,通过感知字级别特征,在减少了未登录词的同时,也表示了字的字形信息。同时,为了获取词语的词义信息,该文在词级别的特征中嵌入对应位置信息。为了赋予实体更多的权重,该文利用自注意力机制感知带有位置信息的词级别特征。进一步,将上述得到的字级别和词级别信息融合,全面表示句子的语义信息。由于采用字词结合的方法容易产生冗余信息,该文设计一种门控机制的highway网络,来过滤冗余信息,减少冗余信息对命名实体识别的影响,再结合条件随机场学习到句子中的约束条件实现中文命名实体的识别。实验结果表明,该文所提出的方法总体上优于目前主流的中文命名实体识别方法。

关键词：命名实体识别双通道门控卷积自注意力机制 highway网络

在线全文

学校读者我要写书评

暂无评论

基于注意力机制的CRNN文本分类算法

计算机工程与设计 2019年第11期40卷 3151-3157页

作者：陈榕任崇广王智远曲志坚王海鹏山东理工大学计算机科学与技术学院

为增强文本特征的表达能力,提出一种基于注意力机制(Attention)的卷积循环神经网络(CRNN)的文本分类算法。把预训练好的词向量作为输入,使用卷积神经网络(CNN)提取文本向量的特征;利用双向门控循环单元(BiGRU)捕获文本中的词序信息,提... 详细信息

为增强文本特征的表达能力,提出一种基于注意力机制(Attention)的卷积循环神经网络(CRNN)的文本分类算法。把预训练好的词向量作为输入,使用卷积神经网络(CNN)提取文本向量的特征;利用双向门控循环单元(BiGRU)捕获文本中的词序信息,提取文本的上下文依赖关系并结合Attention机制识别不同特征的重要性;使用highway网络进行特征优化。将该模型在20Newsgroups、SST-1和SST-2这3个英文语料上进行实验,实验结果表明,该模型有效提高了分类任务的准确率。

关键词：文本分类卷积神经网络注意力机制双向门控循环单元 highway网络词向量

在线全文

学校读者我要写书评

暂无评论

单视角和多视角的步态识别算法研究

单视角和多视角的步态识别算法研究

作者：赵盼盼西安电子科技大学

学位级别：硕士

步态识别是利用步态信息对人的身份进行识别的技术。一方面,基于深度学习的步态识别算法学习性能严重依赖调参,以及训练深度学习模型需要大量的训练数据,而现存步态数据库规模有限,因此探索适用于小数据集且参数少的步态识别算法具有重... 详细信息

步态识别是利用步态信息对人的身份进行识别的技术。一方面,基于深度学习的步态识别算法学习性能严重依赖调参,以及训练深度学习模型需要大量的训练数据,而现存步态数据库规模有限,因此探索适用于小数据集且参数少的步态识别算法具有重要科研价值和实际意义。另一方面,基于卷积神经网络的步态识别算法在多视角步态识别问题上取得了良好的识别性能,且特征提取对步态识别来说至关重要,但步态特征的提取受到行走角度、携带物以及穿着条件的影响,所以利用卷积神经网络提取更加丰富和具有代表性的多视角步态特征显得很有必要。本文针对上述问题,提出了基于孪生深度森林(SDF)的单视角步态识别算法。该方法需要的参数少,样本量少,给解决单视角步态识别问题提供了另外一种思路。此外,本文创新的将highway网络应用到多视角步态识别领域,有效提高了多视角步态识别的准确率。本文的主要研究内容及成果如下:(1)针对基于深度学习的步态识别算法需要的参数多、训练数据量大等问题,本文提出了基于SDF的单视角步态识别算法。首先通过分析SDF的训练方式,结合步态识别问题,构造适用于SDF的单视角步态识别数据集。其次通过探讨SDF的权重计算方式、损失函数构造以及训练算法,设计了基于SDF的单视角步态识别算法的训练流程和测试流程。为了使SDF能以较大的确信度将一对步态能量图(GEI)分开,进一步提高SDF的泛化能力,通过在SDF的损失函数中引入分类间隔,提出了改进的孪生深度森林(MSDF)的单视角步态识别算法。实验结果表明,SDF和MSDF结构可以用来解决单视角步态识别问题,并且该算法需要的超参数少、样本量也少。(2)针对多视角步态识别需要提取丰富的特征这个问题,提出了两类基于highway网络的多视角步态识别方法。首先通过对highway网络的设计动机进行再思考,本文认为highway网络由左右两个特征提取模块构成。其次,根据前面的假设设计了两类基于highway网络的多视角步态识别网络结构,并讨论这两类网络的特征提取方式的异同。随后构造多视角步态数据集,并在数据集上分别测试这两类网络多视角步态识别的准确率。最后分别选取最优模型进行多组实验。实验证明,本文设计的highway网络结构可以提取丰富的步态特征并提高多视角步态识别的准确率。

关键词： highway网络深度森林孪生网络步态识别多视角单视角

基于多词向量集成和神经网络的文本分类方法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多词向量集成和神经网络的文本分类方法研究

作者：彭杨东北师范大学

学位级别：硕士

文本分类(Text Classification)是文本挖掘和自然语言处理中的一个重要的研究领域,旨在将文本归到预先定义的一个或多个类别中,许多不同的应用最终都可以转化为分类问题。传统的文本分类方法主要关注两个问题:特征表示和分类器选择。传... 详细信息

文本分类(Text Classification)是文本挖掘和自然语言处理中的一个重要的研究领域,旨在将文本归到预先定义的一个或多个类别中,许多不同的应用最终都可以转化为分类问题。传统的文本分类方法主要关注两个问题:特征表示和分类器选择。传统的文本特征表示方法通常基于词袋子模型(bag-of-word),该模型会出现数据稀疏、词序丢失等问题。传统的分类器往往也存在通用性差,调参困难等问题。近年来,基于神经网络的深度学习技术为文本分类带来了新的思路,本文在文本分类方法的国内外研究现状的基础上,提出了一个基于多词向量集成和神经网络的文本分类方法,本文的主要工作如下:第一,基于神经网络的文本分类相关技术理论研究。本文介绍了文本分类相关研究现状,重点介绍了基于神经网络的文本分类相关技术,并详细阐述了其理论基础。本文对比了传统文本分类和神经网络文本分类之间的差别,然后总结了用于文本分类的相关神经网络结构,最后介绍了各种词向量表示技术。第二、提出一种新的基于多词向量集成的神经网络文本分类模型。该模型可以集成多种词向量,并利用它们所包含的丰富词义信息来生成高质量的文本表示,最终促进文本分类的准确率。模型包含输入、文本表示向量生成、文本表示向量修正和分类四个模块。模型使用多种词向量初始化输入层,不再依赖传统的文本特征表示方法,避免了数据稀疏问题。同时,通过特定的网络结构(如卷积),模型还能有效地建模文本的词序和上下文信息。为了更合理地集成各种词向量,模型通过自适应修正策略来修正各词向量生成的文本表示向量,确保最终生成的文本表示能准确表达原文本的意思,提高分类的准确率。多个中英文分类数据集上的实验结果表明,该模型能取得良好的分类效果,优于多个基准模型。第三、文本表示向量自适应修正策略的设计与实现。由于训练模型和语料的不同,不同版本的词向量能够建模词不同方面的语义信息,这使得不同词向量对某一特定分类任务的贡献是不同的。因此,有必要对各词向量加以区分,调整它们对最终文本表示的影响。本文提出了基于highway网络和基于注意力的两种文本表示向量修正策略。修正策略使模型具备了区分能力,重要词向量将会更多的影响最终的文本表示,而不重要的词向量的影响力将被弱化,从而避免其对分类产生负面影响。实验结果表明,两种修正策略都能有效的提高模型的分类准确率。

关键词：文本分类词向量表示神经网络 highway网络注意力机制

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种跨层连接的循环神经网络门结构设计

传感器与微系统 2018年第8期37卷 91-93页

作者：余昉恒沈海斌浙江大学超大规模集成电路设计研究所浙江杭州310027

针对循环神经网络(RNN)结构在深层网络中收敛较慢和训练效果较差的问题,分析了长短期记忆(LSTM)和highway网络的门结构特征,提出了一种将层间信息进行跨层连接的门结构单元(CIGU)。结合循环神经网络时间扩展的特点,通过设计层间门结构,... 详细信息

针对循环神经网络(RNN)结构在深层网络中收敛较慢和训练效果较差的问题,分析了长短期记忆(LSTM)和highway网络的门结构特征,提出了一种将层间信息进行跨层连接的门结构单元(CIGU)。结合循环神经网络时间扩展的特点,通过设计层间门结构,使CIGU模型在空间上反向梯度下降时能够像LSTM在时间上传播一样具有长短期记忆能力,从而加强循环神经网络在空间上的深度学习能力。将设计的结构应用到LSTM中,并通过PTB语言数据集对不同的门结构进行训练和测试。结果表明:随着模型层数的加深,CIGU的训练收敛速度和测试结果比传统LSTM和基于highway网络结构的LSTM显著提高。

关键词：循环神经网络长短期记忆 highway网络门结构

基于改进的TextCNN模型的中文文本分类系统

在线全文

学校读者我要写书评

暂无评论

IT经理世界 2021年第10期24卷 125-126页

作者：谢佩君迟呈英战学刚辽宁科技大学计算机与软件工程学院辽宁鞍山114051

随着互联网的快速发展,网络上的信息呈现出爆炸式的增长。面对这些海量的信息数据,如何进行快速的文本分类就显得非常的重要。为了实现文本的快速分类,针对多文本分类的问题提出并设计了一种基于改进的TextCNN模型的中文文本分类模型,即... 详细信息

随着互联网的快速发展,网络上的信息呈现出爆炸式的增长。面对这些海量的信息数据,如何进行快速的文本分类就显得非常的重要。为了实现文本的快速分类,针对多文本分类的问题提出并设计了一种基于改进的TextCNN模型的中文文本分类模型,即Bert-TextCNN-highway模型。基于此模型,在明确了相应系统需求的基础上,对系统的设计与实现进行了介绍。在系统的设计和实现中,主要采用了写前端界面和中间数据传输的相关技术,并利用Boostrap框架进行前端页面的编写和Django框架对前后端数据传输的编写。通过该系统,可以快速有效地进行中文文本分类。

关键词： Bert模型 TextCNN模型 highway网络系统设计