检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于带噪观测的远监督神经网络关系抽取

软件学报 2020年第4期31卷 1025-1038页

作者：叶育鑫薛环王璐欧阳丹彤吉林大学计算机科学与技术学院吉林长春130012 符号计算与知识工程教育部重点实验室(吉林大学) 吉林长春130012 北京大学北京国际数学研究中心北京100871

远监督关系抽取的最大优势是通过知识库和自然语言文本的自动对齐生成标记数据.这种简单的自动对齐机制在将人从繁重的样本标注工作中解放出来的同时,不可避免地会产生各种错误数据标记,进而影响构建高质量的关系抽取模型.针对远监督关... 详细信息

远监督关系抽取的最大优势是通过知识库和自然语言文本的自动对齐生成标记数据.这种简单的自动对齐机制在将人从繁重的样本标注工作中解放出来的同时,不可避免地会产生各种错误数据标记,进而影响构建高质量的关系抽取模型.针对远监督关系抽取任务中的标记噪声问题,提出“最终句子对齐的标签是基于某些未知因素所生成的带噪观测结果”这一假设.并在此假设的基础上,构建由编码层、基于噪声分布的注意力层、真实标签输出层和带噪观测层的新型关系抽取模型.模型利用自动标记的数据学习真实标签到噪声标签的转移概率,并在测试阶段,通过真实标签输出层得到最终的关系分类.随后,研究带噪观测模型与深度神经网络的结合,重点讨论基于深度神经网络编码的噪声分布注意力机制以及深度神经网络框架下不均衡样本的降噪处理.通过以上研究,进一步提升基于带噪观测远监督关系抽取模型的抽取精度和鲁棒性.最后,在公测数据集和同等参数设置下进行带噪观测远监督关系抽取模型的验证实验,通过分析样本噪声的分布情况,对在各种样本噪声分布下的带噪观测模型进行性能评价,并与现有的主流基线方法进行比较.结果显示,所提出的带噪观测模型具有更高的准确率和召回率.

关键词：远监督关系抽取噪声标签

在线全文

学校读者我要写书评

暂无评论

关系抽取中基于本体的远监督样本扩充

软件学报 2014年第9期25卷 2088-2101页

作者：欧阳丹彤瞿剑峰叶育鑫吉林大学计算机科学与技术学院吉林长春130012 符号计算与知识工程教育部重点实验室(吉林大学) 吉林长春130012 吉林大学国家地球物理探测仪器工程技术研究中心吉林长春130026

远监督学习是适合大数据下关系抽取任务的一种学习算法.它通过对齐知识库中的关系实例和文本集中的自然语句,为学习算法提供大规模样本数据.利用本体进行关系实例的自动扩充,用于解决基于远监督学习的关系抽取任务中部分待抽取关系的实... 详细信息

远监督学习是适合大数据下关系抽取任务的一种学习算法.它通过对齐知识库中的关系实例和文本集中的自然语句,为学习算法提供大规模样本数据.利用本体进行关系实例的自动扩充,用于解决基于远监督学习的关系抽取任务中部分待抽取关系的实例匮乏问题.该方法首先通过定义关系覆盖率和公理容积率,来寻找与关系抽取任务关联性大的本体;然后,借助本体推理中的实例查询增加待抽取关系下的关系实例;最后,通过对齐新增关系实例和文本集中的自然语句,达到扩充样本的效果.实验结果表明:基于本体的远监督学习样本扩充方法能够有效完成样本匮乏的关系抽取任务,进一步提升远监督学习方法在大数据环境下的关系抽取能力.

关键词：远监督关系抽取本体

在线全文

学校读者我要写书评

暂无评论

结合特殊领域实体识别的远监督话语领域分类

中文信息学报 2020年第5期34卷 10-18页

作者：何宇虹黄沛杰杜泽峰刘威朱建恺章锦川华南农业大学数学与信息学院广东广州510642

近年来,基于注意力(attention)机制的循环神经网络在文本分类中表现出显著的性能。然而,当训练集数据有限时,测试集数据中许多领域实体指称项在训练集中处于低频,甚至从未出现,如中文话语领域分类任务。该文提出结合特殊领域实体识别的... 详细信息

近年来,基于注意力(attention)机制的循环神经网络在文本分类中表现出显著的性能。然而,当训练集数据有限时,测试集数据中许多领域实体指称项在训练集中处于低频,甚至从未出现,如中文话语领域分类任务。该文提出结合特殊领域实体识别的远监督话语分类模型。首先,通过远监督(distant supervision)的方式获取数据集中的领域知识,显著地减少了人工操作;其次,利用特殊领域实体识别和本地构建的补充性知识库去补全远监督获取的领域知识,旨在为模型提供更加全面的领域知识;最后,对基于上下文的语义特征和知识特征这两种异构信息提出了细粒度拼接机制,在词级上融合了预训练词汇语义表达和领域知识表达,有效提升了分类模型的性能。通过与研究进展的文本分类模型的对比实验表明,该文模型在中文话语领域分类基准数据集的实验上取得了较高的正确率,特别是在知识敏感型领域,较研究进展方法具有显著优势。

关键词：领域分类外部知识远监督话语表达神经分类器

在线全文

学校读者我要写书评

暂无评论

基于模式的远监督关系抽取算法

中文信息学报 2017年第4期31卷 122-131页

作者：王加楠鲁强中国石油大学(北京)计算机科学与技术系北京102249

远监督关系抽取算法能够自动将关系库中的关系与无标注的文本对齐,以进行文本中的关系抽取。目前提出的远监督关系抽取算法中,大多数是基于特征的。然而,此类算法在将实例转换为特征时,经常会出现关键信息不突出、数据集线性不可分等问... 详细信息

远监督关系抽取算法能够自动将关系库中的关系与无标注的文本对齐,以进行文本中的关系抽取。目前提出的远监督关系抽取算法中,大多数是基于特征的。然而,此类算法在将实例转换为特征时,经常会出现关键信息不突出、数据集线性不可分等问题,影响关系抽取的效果。该文提出了一种基于模式的远监督关系抽取算法,其中引入了基于模式的向量,并使用了基于核的机器学习算法来克服上述问题。实验结果表明,该文提出的基于模式的远监督关系抽取算法,能够有效地提升远监督关系抽取的准确率。

关键词：远监督关系抽取模式核方法

在线全文

学校读者我要写书评

暂无评论

基于互信息的远监督神经网络关系抽取

基于互信息的远监督神经网络关系抽取

作者：王世佳吉林大学

学位级别：硕士

远监督关系抽取任务通过将知识库中的关系事实与语料库对齐自动产生训练数据,有效地减少了手工标记数据的成本,并且被广泛地应用在大型语料库中以查找新的关系事实。然而该方法在自动生成训练数据的同时却不可避免地引进了大量的噪声数... 详细信息

远监督关系抽取任务通过将知识库中的关系事实与语料库对齐自动产生训练数据,有效地减少了手工标记数据的成本,并且被广泛地应用在大型语料库中以查找新的关系事实。然而该方法在自动生成训练数据的同时却不可避免地引进了大量的噪声数据,这对于模型的训练很不利。在这里我们利用互信息分别从句子级和单词级进行降噪,以解决此问题。我们的方法均是通过有效句子间的互信息实现,而该信息的获取主要基于“有效句子间是存在联系的,往往共享一些共性信息,而无效的句子通常与其它句子无联系”假设。我们在包内将每个句子相互之间进行对比交互后,利用注意力机制为每个句子获取与包内其它句子间的共性信息。最后将收集到的包含正确信息的共性信息作为句子间互信息,利用该信息对数据进行降噪。一方面,多数句子级降噪方法通过基于句子编码后输出的信息进行降噪,句子之间往往相互独立,这经常会导致部分关键信息的丢失。在获取每个句子互信息的过程中,标记正确的句子相比较错误标记的句子能够收集到更多共性信息。利用基于输出层句子编码后得到的互信息,我们将原来得到的句子信息进一步补充,使得模型在识别每个句子信息时都能参考包内其它句子信息,避免关键信息的丢失。同时也强调了有效句子中的正确信息,从而模型更易识别出正确的句子。另一方面,远监督关系抽取任务也存在着单词级别的噪声问题,即不是每个单词都参与关键信息的构建。我们结合密集网络多层次的特点,使用网络中间层句子编码后收集到的互信息进行单词级的降噪。正确句子间的互信息中含有关键信息,而关键信息的构建也一定是来自重要单词,所以参与关键信息构建的单词一定与互信息之间存在联系。我们通过增加与互信息关联值大的单词权重,进而提高模型在单词级别的抗噪性。本文主要贡献:（1）首次使用互信息优化远监督关系抽取任务,通过对该信息的获取,提高了包内句子间的联系,也避免重要信息的丢失。（2）将编码后的句子特征利用互信息进行补充,丰富了句子特征的同时也使得模型更易识别出正确的句子,提高模型的句子级抗噪性。（3）结合密集网络设计关系抽取模型,使模型拥有获取深层语义的能力,而且利用从密集网络得到的互信息降低了噪声单词对模型的干扰。为了保证实验的可比性和公平性,我们选择公测数据集和相当的参数规模进行了对比实验。我们在句子级与相关基线方法进行比较实验,还进行基于密集网络模型的抗噪性验证实验。在此基础上,在单词级与相关的方法进行了对比实验。模型同时在句子级和单词级降噪表现最优。结果表明,基于互信息的方法在单词级、句子级以及同时在两级上的效果相比对应最新基线方法都有提高。

关键词：远监督关系抽取互信息密集网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于鲁棒主成分分析的远监督关系抽取

基于鲁棒主成分分析的远监督关系抽取

作者：窦红斌吉林大学

学位级别：硕士

随着信息时代的迅猛发展,随之而来的是爆发式增长的大数据问题。信息抽取是从大量非结构化的文本中抽取出有价值的结构化信息,而关系抽取作为其中最重要的子任务,主要用于抽取文本中实体之间的语义关系。关系抽取分为无监督关系抽取、... 详细信息

随着信息时代的迅猛发展,随之而来的是爆发式增长的大数据问题。信息抽取是从大量非结构化的文本中抽取出有价值的结构化信息,而关系抽取作为其中最重要的子任务,主要用于抽取文本中实体之间的语义关系。关系抽取分为无监督关系抽取、半监督关系抽取、远监督关系抽取和全监督关系抽取四种,其中最有前景的是远监督关系抽取,通过启发式地对齐已知的知识库和非结构化文本集提供训练数据,既不用像全监督关系抽取那样需要大量人工标记数据,也不会像半监督关系抽取那样产生语义漂移问题,并且在准确率和召回率上远监督关系抽取也比无监督关系抽取的表现好。但是,使用远监督学习模型实现关系抽取存在如下问题:(1)噪音问题。远监督关系抽取中使用启发式对齐规则提供训练数据是基于假设:如果一个实体对有某种语义关系,则所有包含这个实体对的语句都表达了这种关系。然而该假设条件在某些情况下不总是成立。例如,某些语句并没有表达实体之间的任何语义关系,却被错误的认为是描述特定关系的语句,从而产生噪音关系标签。(2)特征稀疏问题。由于无法预先得知哪些特征对远监督关系抽取的影响更大,所以在进行特征提取时会得到多种文本特征,包括词法特征、语法特征等,但是在训练集中这些特征中的很大一部分只出现了一次。例如,对Freebase知识库和NYT’13文本集进行数据对齐后进行特征提取,会得到几千个特征,而每个实体对对应的这些特征中只有少数特征值为1,其余为0。针对上述远监督关系抽取存在的问题,本文的工作主要有以下几个方面:(1)将远监督关系抽取问题转化成低秩矩阵恢复问题,并选择鲁棒主成分分析模型实现远监督关系抽取。首先把数据整理成矩阵的形式,把待抽取的关系实例作为未知元素存储在矩阵的测试集中,为了解决特征稀疏问题,本文假设矩阵具有低秩性。然后将通过远监督学习所得的原始矩阵分为包含主要信息的低秩矩阵和具有稀疏特征的噪音矩阵。最后利用矩阵奇异值分解找出数据之间的相关性,并实现对未知元素的预测,即抽取出新的关系实例。(2)提出使用加权核范数的鲁棒主成分分析模型。传统的使用核范数的鲁棒主成分分析模型在求解时使用相同的阈值对奇异值矩阵进行收缩,忽略了奇异值的大小与所包含信息的重要性成正比的关系,影响了去噪效果。本文提出在鲁棒主成分分析模型中使用加权核范数替代核范数,即在求解过程中使用与奇异值成反比的阈值对奇异值矩阵进行收缩,从而减缓大奇异值的收缩速度,加快小奇异值的收缩速度,这样不仅保证了矩阵低秩性,还尽量保留了矩阵的重要信息。实验结果表明,基于加权核范数的鲁棒主成分分析模型提高了远监督关系抽取的准确率和去噪效果。

关键词：关系抽取低秩矩阵恢复远监督鲁棒主成分分析加权核范数

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于强化学习的远监督样本选取方法

一种基于强化学习的远监督样本选取方法

作者：季蒙雅东南大学

学位级别：硕士

文档级关系抽取是由句子级关系抽取扩展而来,该任务需要从文档范围内识别多个实体之间的复杂交互。文档级关系抽取面临的挑战在于需要基于多个句子进行特征融合,因此从文档中筛选出高质量的、与任务相关的句子有助于提升关系抽取的精度... 详细信息

文档级关系抽取是由句子级关系抽取扩展而来,该任务需要从文档范围内识别多个实体之间的复杂交互。文档级关系抽取面临的挑战在于需要基于多个句子进行特征融合,因此从文档中筛选出高质量的、与任务相关的句子有助于提升关系抽取的精度。本文以面向医学遗传学文献的文档级遗传风险关系抽取为核心任务,讨论了对文档中句子的有效筛选方法。在医学遗传学文献中,存在以下特点:文献中实体分布稀疏、存在大量与遗传风险关系无关的句子,且文献存在相似的结构。因此,在关系抽取前对句子进行筛选显得尤为重要。同时,远监督学习构建的关系抽取训练集中存在大量不准确的伪标签,并以噪音的形式对模型训练起到负面影响。基于上述背景,本课题研究了一种基于强化学习的远监督样本选取方法,为研究人员从医学遗传学文献中抽取遗传风险关系带来便利。主要研究内容如下:(1)针对医学遗传学文献中实体分布稀疏与结构相似的特点,提出一种基于遗传风险关系的文档图构建方法。该方法充分利用了医学遗传学文献中存在的语义信息和结构信息,根据医学遗传学文献中基因、变体、疾病实体生成句子节点,根据文章的分布结构生成结构节点、引入了结构信息,并根据节点特征引入共现边、顺序边和结构边,解决了文档级关系抽取中实体信息分布广泛、无法充分利用结构信息的问题。(2)针对训练集中的噪音问题,提出一种基于强化学习的远监督样本选取模型DGRL(Reinforcement-Learning Model based on Document-Graph)。将文档图作为句子筛选器的输入,强化学习Agent通过在文档图中随机游走、标记正负句子,与关系分类器联合训练、通过奖励反馈不断优化选择结果,最终从医学遗传学文献的远监督数据集中筛选出正样本句子,解决了远监督数据集中负样本过多的问题,进一步提高了句子筛选的精确度和关系抽取的性能。(3)设计并实现了遗传风险信息可视化系统。根据输入的PMCID,能够搜索对应的医学遗传学文献,显示文献中的实体标注。同时,能够根据医学遗传学文献的筛选结果动态显示对应的文档图与文献中的遗传风险信息样本,即正样本句子集合,让用户更加直观地获取到遗传风险信息。该系统也提供了遗传风险样本的下载功能。综上所述,本研究提出了一种基于强化学习的远监督样本选取方法DGRL,首先构建基于遗传风险关系的文档图并融合文章结构信息,然后基于强化学习方式筛选出医学遗传学文献中的正样本句子,最后设计并实现了遗传风险信息可视化系统。

关键词：远监督强化学习文档级关系抽取

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向迁移学习的植物表型远监督关系抽取研究

面向迁移学习的植物表型远监督关系抽取研究

作者：姜淞吉林大学

学位级别：硕士

表型组学(phenomics)是一种研究生物体表型(phenotype)的系统科学方法,其利用高通量技术,如基因组学、蛋白质组学、代谢组学等,综合分析基因型(genotype)与环境因素相互作用所导致的表型变化,以揭示表型与基因型之间的关系及其在生物进... 详细信息

表型组学(phenomics)是一种研究生物体表型(phenotype)的系统科学方法,其利用高通量技术,如基因组学、蛋白质组学、代谢组学等,综合分析基因型(genotype)与环境因素相互作用所导致的表型变化,以揭示表型与基因型之间的关系及其在生物进化、发育、生长和适应性方面的作用机制。而植物表型组学是在全植物水平上研究植物的物理和生化性状。其最终目标是了解基因型、表型和环境之间的复杂关系,并利用这些知识提高作物的生产力、可持续性和应对环境压力(如干旱、虫害和气候变化)的适应力。目前,表型组学研究的一个主要挑战是如何处理和解释大量产生的数据,以了解生物体的生理和生态特征。大规模表型数据需要使用统计学和机器学习等分析方法进行分析和挖掘,但是这些方法需要更好的适应表型数据海量、高维和异构的特点。关系抽取作为重要的自然语言处理技术,可以自动地从大量的科学文献中提取出有关表型特征和基因之间的关系,这有助于快速发现表型特征和基因之间的联系,从而更好地了解生物体的特征。但由于表型领域缺乏大规模高质量的标记数据集,这为传统的有监督关系抽取方法的应用带来了困难。远监督关系抽取作为一种半监督学习方法,它通过利用已知的知识库信息来训练关系抽取模型,从而减轻了人工标注训练数据的负担。这种方法能自动化地生成大量的训练数据,可以有效的缓解植物表型领域缺少训练数据的问题。但远监督方法依然受到作为监督源的领域知识图谱的制约。如何在不使用任何标记数据情况下,实现植物表型领域的关系抽取,是本文关注的重点。针对此问题,我们提出将迁移学习与远监督关系抽取相结合,利用与植物表型高度相关的生物医学领域中的数据资源实现植物表型领域关系抽取模型的训练。本文贡献如下:(1)提出了一种基于域自适应的远监督关系抽取模型。利用对抗训练将源域远监督数据和目标域无监督数据映射到同一特征空间,实现了生物医学领域到植物表型领域的知识迁移。通过迁移学习放松了远监督方法对知识库的需求,解决了任务领域中缺乏相关监督源的问题,一定程度上扩展了远监督方法的使用场景;(2)提出了一种针对迁移学习场景下远监督方法的数据降噪策略。对于远监督数据,我们利用多实例方法进行降噪。对于无监督数据,我们利用实例间的相似性,聚合多个具有相同实体对的句子,凸显实体间的显著关系,辅助模型在特征空间中对齐两组数据;(3)提出了一种基于多源域自适应的远监督关系抽取模型。我们结合多源自适应技术,通过多路对抗训练将模型扩展到多源场景,解决了迁移学习中源域数据可能来自多个不同领域的问题,实现了多源迁移学习场景下的远监督关系抽取。综述所述,本文针对植物表型领域缺乏训练数据和监督源的问题,我们分别利用单源迁移学习和多源迁移学习给出了解决方案。实验结果表明,我们方法的效果相比对应其他基线方法都有提高。

关键词：远监督关系抽取植物表型迁移学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

远监督关系抽取去噪研究综述

现代计算机 2020年第7期26卷 51-54页

作者：李艳斌四川大学计算机学院成都610065

现有的关系抽取方法大多数为有监督学习方法,需要大量的标注数据,远监督方法解决该问题,可以高效地标注大量的训练数据,使得关系抽取任务得以快速发展。但是,远监督标注的数据集中存在大量的噪声数据,这些噪声数据会影响关系抽取模型的... 详细信息

现有的关系抽取方法大多数为有监督学习方法,需要大量的标注数据,远监督方法解决该问题,可以高效地标注大量的训练数据,使得关系抽取任务得以快速发展。但是,远监督标注的数据集中存在大量的噪声数据,这些噪声数据会影响关系抽取模型的效果。为了避免噪声影响,如何去除选监督数据集中的噪声成为近年来关系抽取任务的一个研究热点。介绍远监督关系抽取去噪的研究历程、方法和相关数据集。

关键词：关系抽取远监督去噪