检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

融合汉字字形结构信息的中文命名实体识别

东北师大学报（自然科学版） 2024年第2期56卷 60-68页

作者：陈金玉王名扬刘旭东北林业大学计算机与控制工程学院黑龙江哈尔滨150036

提出BCBGAC(BERT-CNN-BiGRU-Attention-CRF)模型,通过在汉字嵌入中集成字形结构信息来提高中文命名实体识别精度.BCBGAC使用五笔法将汉字按书写顺序分解为基本汉字组件,汉字组件由Skip-Gram方法编码,汉字组件编码矩阵输入卷积神经网络C... 详细信息

提出BCBGAC(BERT-CNN-BiGRU-Attention-CRF)模型,通过在汉字嵌入中集成字形结构信息来提高中文命名实体识别精度.BCBGAC使用五笔法将汉字按书写顺序分解为基本汉字组件,汉字组件由Skip-Gram方法编码,汉字组件编码矩阵输入卷积神经网络CNN,提取汉字字形结构特征,生成汉字字形结构向量.字形结构向量与BERT模型生成的汉字基本向量拼接得到最终的汉字嵌入向量.然后将汉字向量输入到BiGRU网络中,以捕获向量之间的上下文关系.引入注意力机制来对字符向量进行加权,通过CRF解码层获得实体序列的最佳标注.在两个数据集上的实验结果表明,BCBGAC模型取得了比基线模型更好的实体识别效果.F 1在两个数据集上分别达到96.06%和95.48%,验证了BCBGAC模型在中文命名实体识别任务中的有效性.

关键词：命名实体识别字形结构嵌入 BiGRU 注意力机制

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

地质领域文本实体关系联合抽取方法

高校地质学报 2023年第3期29卷 419-428页

作者：邱芹军王斌徐德馨马凯谢忠潘声勇陶留锋中国地质大学(武汉)计算机学院武汉430074 智能地学信息处理湖北省重点实验室武汉430074 三峡大学计算机与信息学院宜昌443002 湖北省水电工程智能视觉监测重点实验室宜昌443002 武汉市测绘研究院武汉430074 武汉中地数码科技有限公司武汉430074

地质领域实体关系抽取是构建地质知识图谱的基础,对地质领域文本信息抽取与知识库构建具有重要的作用。针对地质领域实体关系复杂、缺少人工标注语料库等特点,提出了面向地质领域实体关系联合抽取模型,着重对多地质文本中存在的复杂重... 详细信息

地质领域实体关系抽取是构建地质知识图谱的基础,对地质领域文本信息抽取与知识库构建具有重要的作用。针对地质领域实体关系复杂、缺少人工标注语料库等特点,提出了面向地质领域实体关系联合抽取模型,着重对多地质文本中存在的复杂重叠关系进行识别,避免传统流水线模型中由于实体识别错误造成级联误差。文章构建了高质量地质领域实体关系语料库,提出了基于预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)和双向门控循环单元BiGRU(Bidirectional Gated Recurrent Units)与条件随机场CRF(Conditional Random Field)的序列标注模型,实现对实体关系的联合抽取。在构建数据集上进行了实验,结果表明,本文提出的联合抽取模型在实体关系抽取上的F1值达到0.671,验证了本文模型在地质实体关系抽取的有效性。

关键词：地质领域实体关系联合抽取知识图谱 BERT BiGRU

一种基于改进差分进化算法的源码漏洞检测模型的冷启动方法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2023年第7期40卷 2170-2178页

作者：袁子龙吴秋新刘韧秦宇北京信息科技大学理学院北京100192 北京卓识网安技术股份有限公司北京100192 中国科学院软件研究所可信计算与信息保障实验室北京100190

源码漏洞检测作为重要的研究课题,其传统方法在面对规模庞大、脆弱性多样化的代码时,存在人工参与度高、未知漏洞检测能力弱等诸多问题。针对以上问题,基于开放源代码的语法语义信息,提出了改进差分进化算法的源码漏洞检测模型冷启动优... 详细信息

源码漏洞检测作为重要的研究课题,其传统方法在面对规模庞大、脆弱性多样化的代码时,存在人工参与度高、未知漏洞检测能力弱等诸多问题。针对以上问题,基于开放源代码的语法语义信息,提出了改进差分进化算法的源码漏洞检测模型冷启动优化方法。运用源码切片技术、启发式优化算法及神经网络模型,解决了漏洞检测模型在启动之初超参数无法准确选定的问题。对于实验中样本信息冗余和正负样本鲜明特征混和的情况,提出了正负样本鲜明特征交叉剔除的思想以减小模型的漏报率及误报率。实验表明,该方法可以有效加速模型的收敛,使得模型在10个epoch内达到稳定,在提升源码漏洞检测模型准确率的同时其收敛速度比其他模型提升了2~3倍。在后续改进实验中,源码漏洞检测模型在所有类型漏洞的准确率上均提高了1~3个百分点,充分证明了改进措施的有效性。该方法的优化策略和改进措施同样适用于其他神经网络分类模型,可以为漏洞检测领域探索新方法和新模型提供思路。

关键词：语法语义改进差分进化漏洞检测 BiGRU

基于BERT-BiGA模型的标题党新闻识别研究

在线全文

学校读者我要写书评

暂无评论

数据分析与知识发现 2021年第6期5卷 126-134页

作者：尹鹏博潘伟民张海军陈德刚新疆师范大学计算机科学技术学院乌鲁木齐830054

【目的】为了识别网络新闻中的标题党现象,提出一种以中文BERT模型为基础,结合BiGRU和融合注意力机制的标题党新闻检测方法。【方法】该方法使用中文BERT预训练模型作为文本编码器,通过融合注意力机制提取文本特征,最后使用BiGRU直接对... 详细信息

【目的】为了识别网络新闻中的标题党现象,提出一种以中文BERT模型为基础,结合BiGRU和融合注意力机制的标题党新闻检测方法。【方法】该方法使用中文BERT预训练模型作为文本编码器,通过融合注意力机制提取文本特征,最后使用BiGRU直接对新闻标题和新闻内容进行建模,通过它们之间的语义相关度判定是否为标题党。【结果】该方法避免使用文本相似度计算方法中复杂的特征工程和误差二次放大等问题,取得了81%的识别准确率。并且开发浏览器插件为新闻读者实现标题党新闻实时检测。【局限】标题党判别机制只考虑新闻标题和内容,未将阅读数、点赞数和评论等信息纳入计算。【结论】该方法在召回率指标上取得了4%的提升,可以看出该方法对于标题党新闻的特征更敏感。

关键词：新闻标题党识别中文BERT BiGRU 注意力机制

Chinese Relation Extraction on Forestry Knowledge Graph Construction

在线全文

学校读者我要写书评

暂无评论

Computer Systems Science & Engineering 2021年第6期37卷 423-442页

作者： Qi Yue Xiang Li Dan Li College of Information and Computer Engineering Northeast Forestry UniversityHarbin150040China

Forestry work has long been weak in data integration;its initial state will inevitably affect the forestry project development and decision-quality.Knowledge Graph(KG)can provide better abilities to organize,manage,and understand forestry knowledge.Relation Extraction(RE)is a crucial task of KG construction and information retrieval.Previous researches on relation extraction have proved the performance of using the attention mechanism.However,these methods focused on the representation of the entire sentence and ignored the loss of information.The lack of analysis of words and syntactic features contributes to sentences,especially in Chinese relation extraction,resulting in poor performance.Based on the above observations,we proposed an end-to-end relation extraction method that used Bi-directional Gated Recurrent Unit(BiGRU)neural network and dual attention mechanism in forestry KG construction.The dual attention includes sentence-level and word-level,capturing relational semantic words and direction words.To enhance the performance,we used the pre-training model FastText to provide word vectors,and dynamically adjusted the word vectors according to the context.We used forestry entities and relationships to build forestry KG and used Neo4j to store forestry KG.Our method can achieve better results than previous public models in the SemEval-2010 Task 8 dataset.By training the model on forestry dataset,results showed that the accuracy and precision of FastText-BiGRU-Dual Attention exceeded 0.8,which outperformed the comparison methods,thus the experiment confirmed the validity and accuracy of our model.In the future,we plan to apply forestry KG to question and answer system and achieve a recommendations system for forestry knowledge.

关键词： Forestry KG RE BiGRU dual attention FastText

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

融合领域知识图谱的跨境民族文化分类

小型微型计算机系统 2022年第5期43卷 943-949页

作者：毛存礼王斌雷雄丽满志博王红斌张亚飞昆明理工大学信息工程与自动化学院昆明650000 昆明理工大学云南省人工智能重点实验室昆明650000 昆明冶金高等专科学校昆明650000

跨境民族是指居住地“跨越”了国境线,但又保留了原来共同的某些民族特色,彼此有着同一民族的认同感的民族,对于跨境民族文化中涉及到的文本分类问题可以看作领域文本细分类任务,但是,目前面临类别标签歧义的问题.为此提出一种融合领域... 详细信息

跨境民族是指居住地“跨越”了国境线,但又保留了原来共同的某些民族特色,彼此有着同一民族的认同感的民族,对于跨境民族文化中涉及到的文本分类问题可以看作领域文本细分类任务,但是,目前面临类别标签歧义的问题.为此提出一种融合领域知识图谱的跨境民族文化分类方法.首先把知识图谱中的知识三元组通过TransE模型表示为实体语义向量,并且把实体语义向量与BERT预训练模型得到文本中的词语向量相融合得到增强后的文本语义表达,输入到BiGRU神经网络中进行深层语义特征提取;然后通过构建注意力权重矩阵,对特征进行权重分配,以此来提升特征的质量,最终完成跨境民族文化分类模型的训练.实验结果表明,提出的方法在跨境民族文化文本数据集上的F1值为89.6%,精确率和召回率分别为88.2%和90.1%.

关键词：知识表示 BiGRU 向量融合 TransE BERT预训练模型跨境民族文化分类

基于网格化产汇流的径流式小水电发电负荷预测

在线全文

学校读者我要写书评

暂无评论

水利水电技术（中英文） 2022年第11期53卷 146-154页

作者：胡尧舒征宇李黄强姚钦李世春许布哲三峡大学电气与新能源学院湖北宜昌443000 国网宜昌供电公司电网调控中心湖北宜昌443000

针对偏远山区径流式小水电发电负荷因来水量不确定性导致预测精度较低的问题,提出一种基于网格化产汇流模型和人工智能的小水电发电负荷预测方法。首先将小水电所在区域进行网格划分,引入径流曲线法(SCS-CN)计算每个网格上的历时降雨产... 详细信息

针对偏远山区径流式小水电发电负荷因来水量不确定性导致预测精度较低的问题,提出一种基于网格化产汇流模型和人工智能的小水电发电负荷预测方法。首先将小水电所在区域进行网格划分,引入径流曲线法(SCS-CN)计算每个网格上的历时降雨产流,再根据单位线原理并结合上游来水量构建小水电区域的网格化产汇流模型。最后,利用卷积神经网络(CNN)对产汇流数据及负荷数据进行高效特征提取,构造双向门控循环单元(BiGRU)网络模型的输入,建立基于降雨产汇流与CNN-BiGRU网络的径流式小水电发电负荷预测模型,通过降低来水量不确定性的影响来提高测试集上预测结果准确率。仿真结果表明,降雨经产汇流模型处理后,小水电发电负荷预测精度提高了7.55%;同时,与单一的GRU网络模型、组合的CNN-GRU网络模型相比,CNN-BiGRU网络模型在测试集上的预测精度分别提高了4.91%、2.39%。综上所述,降雨产汇流模型有效地提高了山区径流式小水电发电负荷的预测精度,为促进富集小水电地区清洁能源的消纳提供了理论依据。

关键词：径流式小水电 SCS-CN 卷积神经网络(CNN) BiGRU 负荷预测降雨清洁能源产汇流

融合MacBERT和Talking⁃Heads Attention实体关系联合抽取模型

在线全文

学校读者我要写书评

暂无评论

现代电子技术 2024年第5期47卷 127-131页

作者：王春亮姚洁仪李昭水电工程智能视觉监测湖北省重点实验室湖北宜昌443000 三峡大学计算机与信息学院湖北宜昌443000

针对现有的医学文本关系抽取任务模型在训练过程中存在语义理解能力不足,可能导致关系抽取的效果不尽人意的问题,文中提出一种融合MacBERT和Talking⁃Heads Attention的实体关系联合抽取模型。该模型首先利用MacBERT语言模型来获取动态... 详细信息

针对现有的医学文本关系抽取任务模型在训练过程中存在语义理解能力不足,可能导致关系抽取的效果不尽人意的问题,文中提出一种融合MacBERT和Talking⁃Heads Attention的实体关系联合抽取模型。该模型首先利用MacBERT语言模型来获取动态字向量表达,MacBERT作为改进的BERT模型,能够减少预训练和微调阶段之间的差异,从而提高模型的泛化能力;然后,将这些动态字向量表达输入到双向门控循环单元(BiGRU)中,以便提取文本的上下文特征。BiGRU是一种改进的循环神经网络(RNN),具有更好的长期依赖捕获能力。在获取文本上下文特征之后,使用Talking⁃Heads Attention来获取全局特征。Talking⁃Heads Attention是一种自注意力机制,可以捕获文本中不同位置之间的关系,从而提高关系抽取的准确性。实验结果表明,与实体关系联合抽取模型GRTE相比,该模型F1值提升1%,precision值提升0.4%,recall值提升1.5%。

关键词： MacBERT BiGRU 关系抽取医学文本 Talking⁃Heads Attention 深度学习全局特征神经网络

基于关联性分析与深度学习的细颗粒物浓度预测模型研究

在线全文

学校读者我要写书评

暂无评论

基于关联性分析与深度学习的细颗粒物浓度预测模型研究

作者：张澳生南京邮电大学

学位级别：硕士

近年来,随着人口的增加和城市化的加速以及各种工业和交通活动的增加,全球大量城市空气污染中的细颗粒浓度不断增加。空气污染中的主要污染物包含PM2.5、PM10等细颗粒物,其浓度的大小直接关系到空气污染的程度。细颗粒物浓度预测是提供... 详细信息

近年来,随着人口的增加和城市化的加速以及各种工业和交通活动的增加,全球大量城市空气污染中的细颗粒浓度不断增加。空气污染中的主要污染物包含PM2.5、PM10等细颗粒物,其浓度的大小直接关系到空气污染的程度。细颗粒物浓度预测是提供空气污染预警和支持清洁工业生产的有效方法,然而现有的方法从空气污染的时间序列数据中捕捉长期依赖关系和复杂关系方面的能力比较弱,并且大多数细颗粒物浓度预测模型都是基于单站点数据所建立的模型,由于目标监测站点的细颗粒物浓度的变化会受到相邻监测站点污染物浓度的影响,因此需要分析其数据之间的关联性。为了能够精确、高效的对海量细颗粒物浓度数据进行预测,本文将多站点空气污染时间序列数据作为研究对象,建立相应的细颗粒物浓度预测模型,并设计基于关联性分析与深度学习的细颗粒浓度预测原型系统。主要的工作内容如下:1.针对现有的基于时间序列的空气污染物浓度预测模型,可能会出现较长的时滞性,并且也没有充分考虑到各监测站点之间以及空间上关联性的问题,提出了一种基于关联性分析的细颗粒物浓度预测方法。该方法先由皮尔森系数筛选出与目标站点污染物浓度关联性最高的3个站点,然后再将这些站点的空气污染物数据与目标站点的数据进行融合,最后再结合相应的深度学习预测模型进行细颗粒物浓度预测。实验结果表明提出的基于关联性分析的细颗粒物浓度预测方法在未来6小时内的PM2.5以及PM10细颗粒物浓度的预测精度均有所提高。2.针对现有的细颗粒物浓度预测模型结构复杂、不能够有效的利用特定时间范围内过去和未来的特征的问题,提出了一种基于关联性分析与BiGRU(Bi-directional Gated Recurrent Unit)的细颗粒物浓度预测模型。该模型先通过前面提出的基于关联性分析的细颗粒物浓度预测方法筛选出与目标站点预测目标关联性最强的3个站点,然后将这些站点相关的空气污染物数据与目标站点的相关数据组成的多变量时间序列数据作为BiGRU模型的训练所使用的数据。实验结果表明所提出的基于关联性分析与BiGRU的细颗粒物浓度预测模型相较于其它深度学习预测模型,能够有效的降低PM2.5以及PM10细颗粒物浓度预测结果的误差。3.综上提出的细颗粒物浓度预测模型,基于浏览器和服务器架构,并使用前后端分离的方式,设计并实现了细颗粒物浓度预测原型系统。本系统实现了前面提出的细颗粒物浓度预测模型,并实现了对当前目标站点的实时细颗粒物浓度预测。除此之外,本系统还实现了数据动态展示、后台运维人员信息管理、日志管理、细颗粒物浓度数据大屏化展示等功能,能够更加高效的协助后台管理人员及时的了解当前空气质量的变化情况,同时也可以检验当前的细颗粒浓度预测模型的可行性。

关键词：关联性分析深度学习细颗粒浓度预测 BiGRU