检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于双向胶囊网络的恶意评论检测

计算机工程与科学 2024年第10期46卷 1765-1774页

作者：李公瑾邵玉斌杜庆治龙华马迪南昆明理工大学信息工程与自动化学院云南昆明650504 云南省媒体融合重点实验室云南昆明650032

为了解决现有检测模型无法准确识别语言风格多变、语意隐晦的恶意评论问题,提出了一种基于双向胶囊网络的恶意评论检测模型。首先,利用bert模型对评论文本进行词嵌入,创建输入矩阵;其次,将输入矩阵传递给双向特征提取层,该层由堆叠的LST... 详细信息

为了解决现有检测模型无法准确识别语言风格多变、语意隐晦的恶意评论问题,提出了一种基于双向胶囊网络的恶意评论检测模型。首先,利用bert模型对评论文本进行词嵌入,创建输入矩阵;其次,将输入矩阵传递给双向特征提取层,该层由堆叠的LSTM、双向胶囊网络和注意力网络组成,从正向和反向同时捕获文本的深层语义信息,将生成的正向和反向矩阵拼接起来并输入到注意力机制中,聚焦与恶意评论相关的词语并生成输出向量;再次,拼接输出向量与语境辅助特征向量,丰富特征表示;最后,将拼接向量输入到全连接层中,通过Sigmoid激活函数对评论文本进行分类。在维基百科恶意评论数据集上进行的实验表明,相较于现有研究,基于双向胶囊网络的恶意评论检测模型性能提升显著,能够捕获评论文本中更丰富的语义信息,有效检测恶意评论。

关键词： bert语言模型双向胶囊网络语境辅助特征恶意评论检测

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于预训练模型的方面级情感分析研究及实现

基于预训练模型的方面级情感分析研究及实现

作者：殷文电子科技大学

学位级别：硕士

随着互联网的快速发展,使得当前数据信息的多元化且计算资源的复杂度不断上升。基于所属实验室科研项目中对舆情监测的任务需求,亟需解决趋于细粒度的情感分析任务。方面级情感分析任务的目标是分析句中不同方面内容的不同情感,这样更... 详细信息

随着互联网的快速发展,使得当前数据信息的多元化且计算资源的复杂度不断上升。基于所属实验室科研项目中对舆情监测的任务需求,亟需解决趋于细粒度的情感分析任务。方面级情感分析任务的目标是分析句中不同方面内容的不同情感,这样更加细化了短文本中的情感倾向。当前工作主要是使用预训练模型解决此任务,然而由于此任务要求在单句中处理多个部分的内容,这就对预训练模型提出了更高的要求。因此,本文针对深层语义以及小样本学习探究了一些改进策略,主要分为两个部分:(1)利用集成学习的思想,提出了基于双bert集成感知的分析模型,通过两个bert编码器同时处理文本输入,将样本中句子的语义与语法集中把握,增强了挖掘文本复杂语义的能力,可以捕捉到关于方面词上下文的语义,提高模型的泛化性。同时其中一个架构还使用了掩码语言模型的损失去改良模型的学习效果,这就提高了模型小样本场景下的效果。(2)探究了提示学习围绕预训练微调的改进,提出了基于句法提示增强Syn Prompt的分析模型。这个模型旨在构造一个更加适配特定任务的特殊的提示工程,因此考虑到句法依赖树对句子很强的解析性,就提出使用依赖树的句法信息去构建一个更强的提示内容。另外,受到近年对提示工程研究的启发,又提出了两种自适应增强的提示框架——自动提示框架和软提示框架,从而增强该模型的效果。本文选用针对方面级情感分析任务的三个官方数据集(餐厅、电脑和推特)作为模型的训练测试数据,并完成了大量的对比实验和变量实验,以验证提出模型的有效性和可行性。实验选取近年的SOTA模型作为基线,除了综合实验还进行了多个小样本学习的实验以及多个超参数实验,可以证明提出的模型在低资源场景下的优势以及模型的有效性。基于本文提出的方法与模型,开发了网页端方面级情感分析的系统。首先根据用户需求进行合适的需求分析,之后依据深度学习模型的流程设计系统,然后实现了用户登录系统、爬取数据、训练模型以及模型预测等功能。最后将实现的系统进行展示并阐述详细的实现细节,保证算法在实际应用场景中的可用性。

关键词：预训练模型方面级情感分析提示学习依赖树 bert语言模型

词嵌入bert-CRF玉米育种实体关系联合抽取方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

农业机械学报 2023年第11期54卷 286-294页

作者：李书琴庞文婷西北农林科技大学信息工程学院陕西杨凌712100

针对玉米育种文本数据中存在重叠三元组、实体表达方式多样等问题,提出一种嵌入词汇信息的bert-CRF(Bidirectional encoder representations from transformers-conditional random field)玉米育种实体关系联合抽取方法。首先,分析了玉... 详细信息

针对玉米育种文本数据中存在重叠三元组、实体表达方式多样等问题,提出一种嵌入词汇信息的bert-CRF(Bidirectional encoder representations from transformers-conditional random field)玉米育种实体关系联合抽取方法。首先,分析了玉米育种语料表达特征,采用对实体边界、关系类别和实体位置信息同步标注的策略;其次,构建了嵌入词汇信息的bert-CRF模型进行训练和预测,自建玉米育种知识词典,通过在bert中嵌入词汇信息,融合字符特征和词汇特征,增强模型的语义能力,利用CRF模型输出全局最优标签序列,设计了实体关系三元组匹配算法(Entity and relation triple matching algorithm,ERTM),将标签进行匹配和映射来获取三元组;最后,为验证该方法的有效性,在玉米育种数据集上进行实验,结果表明,本文模型精确率、召回率和F1值分别为91.84%、95.84%、93.80%,与现有模型相比性能均有提升。说明该方法能够有效抽取玉米育种领域知识,为构建玉米育种知识图谱及其它下游任务提供数据基础。

关键词：玉米育种实体关系联合抽取序列标注 bert语言模型词嵌入

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

家禽诊疗文本多实体关系联合抽取模型研究

农业机械学报 2021年第6期52卷 268-276页

作者：胡滨汤保虎姜海燕霍傲韩文笑南京农业大学人工智能学院南京210095 南京农业大学国家信息农业技术中心南京210095

针对传统实体关系抽取方法中主体特征与句向量难以有效融合、现有BIO标注策略难以有效处理重叠关系的问题,提出一种基于bert和双重指针标注的家禽疾病诊疗文本实体关系联合抽取模型(Joint extraction of entity relationship of poultry... 详细信息

针对传统实体关系抽取方法中主体特征与句向量难以有效融合、现有BIO标注策略难以有效处理重叠关系的问题,提出一种基于bert和双重指针标注的家禽疾病诊疗文本实体关系联合抽取模型(Joint extraction of entity relationship of poultry disease diagnosis and treatment text,JEER_PD)。JEER_PD使用双重指针标注(Dual-pointer labeling,DPL)策略,建立头、尾2个指针标注器,一次性标注出所有实体的开始和结束位置;引入CLN(Conditional layer normalization)网络层,强化主体抽取任务与客体关系联合抽取任务之间的联系;利用概率平衡策略PBS对抗正负类标签类别失衡,以加速模型收敛。实验表明,JEER_PD准确率、召回率和F1分别为97.69%、97.59%和97.64%,3项指标较现有方法均有显著提升,说明JEER_PD能够快速、准确地抽取家禽疾病诊疗复杂知识文本中的实体关系三元组。

关键词：家禽疾病诊疗文本实体关系抽取关系重叠 bert语言模型双重指针标注

基于图卷积半监督学习的论文作者同名消歧方法研究

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2021年第12期43卷 3442-3450页

作者：盛晓光王颖钱力王颖中国科学院大学人工智能学院北京100049 中国科学院文献情报中心北京100190 中国科学院大学图书情报与档案管理系北京100190

为解决学者与成果的精确匹配问题,该文提出了一种基于图卷积半监督学习的论文作者同名消歧方法。该方法使用Scibert预训练语言模型计算论文题目、关键字获得论文节点语义表示向量,利用论文的作者和机构信息获得论文的合作网络和机构关... 详细信息

为解决学者与成果的精确匹配问题,该文提出了一种基于图卷积半监督学习的论文作者同名消歧方法。该方法使用Scibert预训练语言模型计算论文题目、关键字获得论文节点语义表示向量,利用论文的作者和机构信息获得论文的合作网络和机构关联网络邻接矩阵,并从论文合作网络中采集伪标签获得正样本集和负样本集,将这些作为输入利用图卷积神经网络进行半监督学习,获得论文节点嵌入表示进行论文节点向量聚类,实现对论文作者同名消歧。实验结果表明,与其他消歧方法相比,该方法在实验数据集上取得了更好的效果。

关键词：同名消歧图卷积神经网络 bert语言模型

基于bert-BiLSTM模型的短文本自动评分系统

在线全文

学校读者我要写书评

暂无评论

深圳大学学报（理工版） 2022年第3期39卷 349-354页

作者：夏林中叶剑锋罗德安管明祥刘俊曹雪梅深圳信息职业技术学院人工智能技术应用工程实验室广东深圳518172

针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于bert-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用bert(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的bert语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分.实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和bert等基准模型,基于bert-BiLSTM的短文本自动评分模型所获的二次加权kappa系数平均值最优.

关键词：信号与信息处理自然语言处理 bert语言模型短文本自动评分长短时记忆网络二次加权kappa系数

基于bert-CNN的城轨列控车载设备故障分类

在线全文

学校读者我要写书评

暂无评论

深圳大学学报（理工版） 2023年第5期40卷 529-538页

作者：徐倩张雷欧冬秀贺云鹏同济大学上海市轨道交通结构耐久与系统安全重点实验室上海201804 同济大学交通运输工程学院上海201804 中铁第四勘察设计院集团有限公司湖北武汉430063

针对基于通信的城市轨道交通列车控制系统车载设备故障排查困难,故障维修日志由于信息零散、语义模糊及归类混乱等导致的传统文本分布式表示与浅层机器学习算法分类精度低等问题,提出一种基于焦点损失函数bert-CNN(bidirectional encode... 详细信息

针对基于通信的城市轨道交通列车控制系统车载设备故障排查困难,故障维修日志由于信息零散、语义模糊及归类混乱等导致的传统文本分布式表示与浅层机器学习算法分类精度低等问题,提出一种基于焦点损失函数bert-CNN(bidirectional encoder representations from transformers-convolutional neural network)的故障分类方法,建立故障处理及结论、故障现象的关系模型.利用预训练好的bert模型微调获取故障现象的词向量,充分捕捉融合了上下文的双向语义并关注重点词汇;利用卷积神经网络(convolutional neural network,CNN)进行训练,改进损失函数以缓解数据类别不平衡引起的性能下降问题.通过对某车载信号工区数据进行实验,对比基于交叉熵损失函数的bert-CNN、单一bert模型与word2vec-CNN(word to vector-CNN)方法,基于焦点损失函数bert-CNN方法在分类指标上最优,对某些样本数量少的类别能够更精准分类.研究结果有助于建立更完善的智能运维故障案例库.

关键词：交通运输工程城轨列控车载设备 bert语言模型卷积神经网络故障分类类别不平衡

嵌入词汇信息的bert-CRF玉米育种实体关系联合抽取方法

在线全文

学校读者我要写书评

暂无评论

农业机械学报 2023年

作者：李书琴庞文婷西北农林科技大学信息工程学院

针对玉米育种文本数据中存在重叠三元组、实体表达方式多样等问题，提出一种嵌入词汇信息的bert-CRF（Bidirectional encoder representations from transformers-conditional random field）玉米育种实体关系联合抽取方法。首先，分析... 详细信息

针对玉米育种文本数据中存在重叠三元组、实体表达方式多样等问题，提出一种嵌入词汇信息的bert-CRF（Bidirectional encoder representations from transformers-conditional random field）玉米育种实体关系联合抽取方法。首先，分析了玉米育种语料表达特征，采用对实体边界、关系类别和实体位置信息同步标注的策略；其次，构建了嵌入词汇信息的bert-CRF模型进行训练和预测，自建玉米育种知识词典，通过在bert中嵌入词汇信息，融合字符特征和词汇特征，增强模型的语义能力，利用CRF模型输出全局最优标签序列，设计了实体关系三元组匹配算法（Entity and relation triple matching algorithm，ERTM），将标签进行匹配和映射来获取三元组；最后，为验证该方法的有效性，在玉米育种数据集上进行实验，结果表明，本文模型的精确率、召回率和F1值分别为91.84%、95.84%、93.80%，与现有模型相比性能均有提升。说明该方法能够有效抽取玉米育种领域知识，为构建玉米育种知识图谱及其它下游任务提供数据基础。

关键词：玉米育种实体关系联合抽取序列标注 bert语言模型词嵌入

基于bert的混合字词特征中文文本摘要模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机应用与软件 2022年第6期39卷 258-264,296页

作者：劳南新王帮海广东工业大学计算机学院广东广州510006

bert预训练语言模型在一系列自然语言处理问题上取得了突破性进展,对此提出探究bert预训练模型在中文文本摘要上的应用。探讨文本摘要信息论框架和ROUGE评分的关系,从信息论角度分析中文词级粒度表示和字级粒度表示的信息特征,根据文本... 详细信息

bert预训练语言模型在一系列自然语言处理问题上取得了突破性进展,对此提出探究bert预训练模型在中文文本摘要上的应用。探讨文本摘要信息论框架和ROUGE评分的关系,从信息论角度分析中文词级粒度表示和字级粒度表示的信息特征,根据文本摘要信息压缩的特性,提出采用全词遮罩(Whole Word Masking)的中文预训练语言模型bert_wwm作为编码器提取词级粒度信息特征,采用多层Transformer作为解码器以字为粒度生成摘要的混合字词特征中文文本摘要模型。分别以bert_base_Chinese、bert_wwm_Chinese、bert_wwm_ext_Chinese和Roberta_wwm_ext_Chinese四种预训练语言模型作为中文词级信息特征编码器,在LCSTS数据集上进行实验,采用ROUGE作为评价指标。结果表明,Roberta_wwm_ext_Chinese+Transformer的编码器-解码器框架的ROUGE-1、ROUGE-2和ROUGE-L的F1评分分别达到了44.60、32.33和41.37,性能超过了HWC+Transformer方法。

关键词：中文文本摘要信息论 bert语言模型混合字词特征