检索结果-南通市图书馆

基于注意力机制的BiGRU判决结果倾向性分析

在线全文

学校读者我要写书评

暂无评论

计算机系统应用 2019年第3期28卷 191-195页

作者：王宁李世林刘堂亮赵伟中国科学院沈阳计算技术研究所沈阳110168 中国科学院大学北京100049 辽宁省人民检察院沈阳铁路运输分院沈阳110001 沈阳东软系统集成工程有限公司沈阳110000

对裁判文书中判决结果的倾向性分析是完成律师推荐系统的前提,如何高效的实现判决结果倾向性分析是本文的重点.本文提出了基于注意力机制和BiGRU的判决结果倾向性分析模型.首先,训练词向量,得到词向量表;然后,通过查找词向量表,将文书... 详细信息

对裁判文书中判决结果的倾向性分析是完成律师推荐系统的前提,如何高效的实现判决结果倾向性分析是本文的重点.本文提出了基于注意力机制和BiGRU的判决结果倾向性分析模型.首先,训练词向量,得到词向量表;然后,通过查找词向量表,将文书数据转化为词向量序列,将词向量序列作为输入来训练判决结果倾向性分析模型.实验结果表明:注意力机制和BiGRU算法在判决结果倾向性分析中具有一定的有效性.该模型能够对裁判文书中判决结果的倾向性做一个合理的判断,为后期律师推荐系统的实现提供一个合理的评分依据.

关键词：倾向性分析 BiGRU 注意力机制词向量模型律师推荐

基于BERT-BiGRU模型的智慧医疗问答系统

在线全文

学校读者我要写书评

暂无评论

软件工程 2024年第3期27卷 11-14,25页

作者：黄涌葸娟霞关成斌广东东软学院信息管理与工程学院广东佛山528000

针对医疗问答系统在处理复杂问题时面临上下文语义理解的局限,提出一种基于BERT-BiGRU的模型。通过预训练语言模型BERT和双向门控循环单元BiGRU建立医疗问答系统,其中BERT提取文本语义特征,BiGRU学习文本的顺序依赖信息,进而全面表示文... 详细信息

针对医疗问答系统在处理复杂问题时面临上下文语义理解的局限,提出一种基于BERT-BiGRU的模型。通过预训练语言模型BERT和双向门控循环单元BiGRU建立医疗问答系统,其中BERT提取文本语义特征,BiGRU学习文本的顺序依赖信息,进而全面表示文本语义结构信息。在CBLUE医疗问答数据集上与基准方法相比,该模型在意图识别任务上的精确率提高到79.22%,召回率提高到81.23%,F1值(精确率和召回率的调和平均值)提高到79.82%。研究表明,结合BERT和BiGRU的模型可以更好地理解医疗问句的语义和结构信息,显著地提升了医疗问答系统的性能。

关键词： BERT BiGRU 知识图谱意图识别医疗问答系统

基于二次分解和多目标优化的超短期海上风电功率预测

在线全文

学校读者我要写书评

暂无评论

高电压技术 2022年第8期48卷 3260-3270页

作者：董雪赵宏伟赵生校卢迪陈晓锋刘磊浙江省深远海风电技术研究重点实验室杭州311122 中国电建集团华东勘测设计研究院有限公司杭州311122 中国科学技术大学工程科学学院合肥230026

为了综合提升海上风电功率预测的准确性、稳定性和合格率,促进风电场的安全经济运行,提出一种基于二次分解和多目标优化的超短期海上风电功率预测方法。首先,利用自适应噪声的完全集合经验模态分解(complete ensemble empirical mode de... 详细信息

为了综合提升海上风电功率预测的准确性、稳定性和合格率,促进风电场的安全经济运行,提出一种基于二次分解和多目标优化的超短期海上风电功率预测方法。首先,利用自适应噪声的完全集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和辛几何模态分解(symplectic geometry mode decomposition,SGMD)构成的二次分解方法对原始风电信号进行分解,降低原始信号的随机性和波动性;然后,将分解后的信号分量送入到双向门控循环单元(bidirectional gated recurrent unit,BiG RU)网络进行时序建模,并采用粒子群优化(particle swarm optimization,PSO)算法对Bi GRU网络的超参数进行智能优化,以避免网络陷入局部最优;最后,提出一种兼顾准确性、稳定性和并网合格率的多目标优化损失指导网络训练。实验结果表明,采用的二次分解方法和提出的多目标优化损失能够有效提升模型的预测性能,与其他经典方法相比,所提方法在不同季节均取得最优效果,具有较强的实用性。

关键词：超短期风电功率预测二次分解多目标优化 BiGRU PSO

在线全文

学校读者我要写书评

暂无评论

基于多层交互注意力机制的商品属性抽取

数据分析与知识发现 2023年第2期7卷 108-118页

作者：苏明星吴厚月李健黄菊张顺香安徽理工大学计算机科学与工程学院淮南232001

【目的】提升模型对文本结构特征和文本特征间关联性的感知,充分挖掘文本内在语义,深层次指导抽取任务。【方法】对文本、句法和词性进行特征抽取,得到各自的特征;将不同的特征进行融合,获得完备的文本结构特征;再设计一个多层交互注意... 详细信息

【目的】提升模型对文本结构特征和文本特征间关联性的感知,充分挖掘文本内在语义,深层次指导抽取任务。【方法】对文本、句法和词性进行特征抽取,得到各自的特征;将不同的特征进行融合,获得完备的文本结构特征;再设计一个多层交互注意力机制,该机制聚焦于文本结构特征和文本特征之间的深层关联,并采用双线性融合策略,以保证信息的完整性;最后,通过常用的分类器进行属性抽取。【结果】在公开的数据集上,所提模型的属性抽取准确率相比于已有模型至少提高了1.2个百分点。【局限】所提模型对隐式属性词感知迟钝,句子中出现三个以上隐式属性词,模型的性能将大幅度降低。【结论】在显式的商品属性词抽取任务中,建模文本结构特征与文本特征间关联性的方法可以有效提高属性抽取的准确率。

关键词：属性抽取交互注意力机制依存关系 BiGRU BERT

基于自编码压缩与多尺度特征提取的抽水蓄能机组劣化趋势评估与预测

在线全文

学校读者我要写书评

暂无评论

水利学报 2022年第6期53卷 747-756页

作者：陈鹏吴一凡蔡爽杨彬张海库李超顺华中科技大学土木与水利工程学院湖北武汉430074 大唐西藏能源开发有限公司四川成都610072 大唐水电科学技术研究院有限公司四川成都610074

恶劣的运行环境为抽水蓄能机组安全运行带来严峻挑战,抽水蓄能机组劣化趋势评估与预测技术能够有效反映机组运行状况并预测机组未来劣化情况,为机组状态检修提供重要依据。然而,机组运行工况参数中存在大量冗余或干扰信息,严重影响劣化... 详细信息

恶劣的运行环境为抽水蓄能机组安全运行带来严峻挑战,抽水蓄能机组劣化趋势评估与预测技术能够有效反映机组运行状况并预测机组未来劣化情况,为机组状态检修提供重要依据。然而,机组运行工况参数中存在大量冗余或干扰信息,严重影响劣化趋势评估的可靠性;此外,难以对复杂的劣化趋势序列实现准确的预测。为解决上述问题,提出一种基于自编码压缩与多尺度特征提取的抽水蓄能机组劣化评估预测模型。首先,为降低拟合误差,利用深度自编码器(DAE)凝练工况参数中的关键信息,结合多层感知机(MLP)建立健康模型;其次,根据机组运行数据与健康模型,生成机组劣化度;最后,以一维卷积神经网络(1DCNN)提取局部空间特征,以双向门控循环单元(BiGRU)提取双向全局时序特征,结合二者的优势,构建多尺度特征提取网络,实现精确的劣化趋势预测。通过某抽水蓄能机组验证了该模型的有效性。与其他模型相比,自编码压缩模型的拟合误差最低,能够生成可靠的劣化趋势;多尺度特征提取网络能够学习劣化趋势序列中的长期趋势与局部波动信息,预测精度更高。

关键词：抽水蓄能机组劣化趋势评估与预测深度自编码器多尺度特征提取 1DCNN BiGRU

A Model for Chinese Named Entity Recognition Based on Global Pointer and Adversarial Learning

在线全文

学校读者我要写书评

暂无评论

Chinese Journal of Electronics 2023年第4期32卷 854-867页

作者： ZHANG Yangsen LI Jianlong XIN Yonghui ZHAO Xiquan LIU Yang Institute of Intelligent Information Processing Beijing Information Science and Technology University Computer Network Emergency Response Technical Team Coordination Center of China

To solve the problem that the Chinese named entity recognition(NER) models have poor antiinterference ability and inaccurate entity boundary recognition, this paper proposes the RGP-with-FGM model which is based on global pointer and adversarial learning.Firstly, the RoBERTa-WWM model is used to optimize the semantic representation of the text, and fast gradient method is used to add perturbation to the word embedding layer to enhance the robustness of the model. Then,BiG RU is used to focus on the timing information of Chinese characters to enhance the semantic connection.Finally, the global pointer is constructed in the decoding layer to obtain more accurate entity boundary recognition results. In order to verify the effectiveness of the model proposed in this paper, we construct Uyghur names dataset(UHND) to train the Chinese NER model, and perform extensive experiments with public Chinese NER data sets. Experimental results show that for UHND, the F1 value is 95.12%, which is 3.09% higher than that of the RoB ERTa-WWM-BiG RU-CRF model. For the Resume data set, the Precision and F1 value are 96.28% and 96.10%respectively.

关键词： Chinese named entity recognition (NER) Global pointer RoBERTa-WWM model Fast gradient method (FGM) BiGRU

增强依存结构表达的零样本跨语言事件论元角色分类

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程与科学 2024年第3期46卷 508-517页

作者：张远洋贡正仙孔芳苏州大学计算机科学与技术学院江苏苏州215006

事件论元角色分类是事件抽取中的子任务,旨在为事件中的候选论元分配相应的角色。事件语料标注规则复杂、人力耗费大,在很多语言中缺少相关标注文本。零样本跨语言事件论元角色分类可以利用源语言的丰富语料建立模型,然后直接应用于标... 详细信息

事件论元角色分类是事件抽取中的子任务,旨在为事件中的候选论元分配相应的角色。事件语料标注规则复杂、人力耗费大,在很多语言中缺少相关标注文本。零样本跨语言事件论元角色分类可以利用源语言的丰富语料建立模型,然后直接应用于标注语料匮乏的目标语言端。围绕不同语言的事件文本在依存结构上的表达共性,提出了使用BiGRU网络模块对触发词到候选论元的依存路径信息进行额外编码的方法。本文设计的编码模块能灵活地与当前主流的基于深度学习框架的事件论元角色分类模型相联合。实验结果表明,本文提出的方法能更有效地完成跨语言迁移,提高多个基准模型的分类性能。

关键词：零样本跨语言事件论元角色分类依存结构 BiGRU 依存路径信息

基于XLNet的双通道特征融合文本分类模型

在线全文

学校读者我要写书评

暂无评论

山东大学学报（理学版） 2023年第5期58卷 36-45页

作者：孟金旭单鸿涛黄润才闫丰亭李志伟郑光远刘一鸣石昌通上海工程技术大学电子电气工程学院上海201620 上海建桥学院信息技术学院上海201306 上海擎玺智能科技有限公司上海201800

提出了基于XLNet的双通道特征融合文本分类(XLNet-CNN-BiGRU, XLCBG)模型。相对于单模型通道,XLCBG模型通过融合XLNet+CNN和XLNet+BiGRU这2个通道的特征信息,能提取更加丰富的语义特征。XLCBG模型对融合后的特征信息分别采用了Maxpoolin... 详细信息

提出了基于XLNet的双通道特征融合文本分类(XLNet-CNN-BiGRU, XLCBG)模型。相对于单模型通道,XLCBG模型通过融合XLNet+CNN和XLNet+BiGRU这2个通道的特征信息,能提取更加丰富的语义特征。XLCBG模型对融合后的特征信息分别采用了Maxpooling、Avgpooling和注意力机制等处理方式,分别提取全局中特征值最大的向量、全局中的均值特征向量、注意力机制的关键特征来代替整个向量,从而使融合特征处理的方式多样化,使最优分类模型的可选择性增多。最后,将当前流行的文本分类模型与XLCBG模型进行了比较实验。实验结果表明:XLCBG-S模型在中文THUCNews数据集上分类性能优于其他模型;XLCBG-Ap模型在英文AG News数据集上分类性能优于其他模型;在英文20NewsGroups数据集上,XLCBG-Att模型在准确率、召回率指标上均优于其他模型,XLCBG-Mp模型在精准率、F1指标上均优于其他模型。

关键词： XLNet 双通道文本分类 BiGRU CNN

基于高质量语义和双注意力机制的潜在高价值专利识别研究

在线全文

学校读者我要写书评

暂无评论

数据分析与知识发现 2024年

作者：窦路遥周志刚申婧冯宇苗均重山西财经大学信息学院哈尔滨工业大学计算机科学与技术学院重庆大学经济与工商管理学院

[目的] 解决潜在高价值专利识别过程中序列建模的长距离依赖问题以及序列特征的关键信息获取问题，提升潜在高价值专利识别精准度和可解释性。[方法] 提出一种基于预训练模型XLNet和双注意力机制BiAttention的潜在高价值专利识别模型（X... 详细信息

[目的] 解决潜在高价值专利识别过程中序列建模的长距离依赖问题以及序列特征的关键信息获取问题，提升潜在高价值专利识别精准度和可解释性。[方法] 提出一种基于预训练模型XLNet和双注意力机制BiAttention的潜在高价值专利识别模型（XLBBC），通过XLNet模型进行专利文本表示和高质量语义获取，再利用BiGRU网络获取全局文本序列信息，随后嵌入BiAttention层使模型集中注意力于输入序列的不同部分，联合CNN层捕捉专利文本中的关键短语和特定模式。在非晶合金、工业机器人、钙钛矿太阳能电池等领域的混合专利数据集展开实证研究。[结果] 该模型在一定数据规模（40000条专利数据）时具备高准确性(0.89)和一致性(0.65)的双重优势；模型的预测准确率达到42%左右，较之既有研究模型的准确率提升约9%。[局限] 尚未考虑标准必要专利与高价值专利的关联关系和融合机制，算法复杂度有待提升。[结论] XLBBC模型在文本分类层面的效果优于CNN等组合模型；XLNet模型在全局语义理解上具备优越性；当注意力层处于XLNet-BiGRU层和CNN层之间时，会取得更好的模型效果。

关键词：高质量语义双注意力机制 XLNet BiGRU CNN 潜在高价值专利