检索结果-南通市图书馆

林业科学 2024年第9期60卷 99-110页

作者：谭晶维张怀清刘洋杨杰郑东萍中国林业科学研究院资源信息研究所、国家林业和草原局林业遥感与信息技术重点实验室北京100091 北京林业大学林学院北京100083 夏威夷大学马诺阿分校檀香山HI 96822

【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策... 详细信息

【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。

关键词：林业文本 BERT 预训练语言模型特定领域预训练抽取式问答任务自然语言处理

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于极弱监督的多标签政策分类研究

基于极弱监督的多标签政策分类研究

引用

作者：赵久峰吉林大学

学位级别：硕士

随着智慧政务的发展,中国多个地方政府正在建设基于互联网的开放政策平台。这些在线平台需要对政策进行分类,以便政府有效管理和高效传播政策信息。近年来,一些研究人员开始探索将深度学习技术应用于政策领域,以实现政策的批量自动分类... 详细信息

随着智慧政务的发展,中国多个地方政府正在建设基于互联网的开放政策平台。这些在线平台需要对政策进行分类,以便政府有效管理和高效传播政策信息。近年来,一些研究人员开始探索将深度学习技术应用于政策领域,以实现政策的批量自动分类,从而为政策管理提供更智能化的解决方案。然而,由于政策分类研究任务的特殊性以及政府事务更新速度快的特点,研究者通常难以获取高质量的标记数据集。因此,大规模政策分类研究相对较少。此外,现有研究还面临以下问题:(1)不同职能政府机构和部门的标签系统不统一,使得现有方法无法实现有效的跨部门检索。(2)现有方法通常依赖于大量标记文档的监督学习,但标记数据的任务是非常昂贵且耗时的。(3)政策通常涉及多个标签,然而大多数当前方法采用多类别分类,这可能无法完全满足实际需求。为了解决上述问题,本文探讨了如何在尽可能降低人工成本的前提下提高模型在政策分类任务上的准确性。本文的主要研究内容和贡献如下:1.为了减轻人工专家标注大量政策的负担,我们提出了一个基于极弱监督的大规模框架(Weak-PMLC),用于多标签政策分类。该框架不依赖于任何标记的文档,而是仅利用每个类别的标签名称。具体而言,我们首先在给定的无标注的政策语料库上进行语言模型(Language Model,LM)的预训练,将LM从通用领域扩展到政策领域,以提高模型对该领域的理解。然后,利用该政策领域的LM执行遮蔽语言模型(Masked Language Model,MLM)的预测任务,生成与标签名称语义高度相关的种子词,以扩展标签名称的语义范围,覆盖更多政策数据。接下来,根据政策文本中是否包含标签种子词的策略,为无标注的政策数据生成伪标签,形成伪训练集。最后,我们对预训练后的语言模型进行调整,将模型的每个神经元作为一个独立的二元分类器,用于对政策进行分类。2.由于Weak-PMLC框架最终所使用的分类模型将多标签分类任务转换为传统的多个单标签分类任务,忽略了多标签文本中标签之间的相关性。为了解决这个问题,我们进一步提出了一个多任务框架MTC-CLCLP,该框架将标签间的关系融入到语言模型的输入中,通过联合多任务学习提高分类模型的性能。具体而言,我们首先使用通用的提示模板将标签文档和原始文档结合,作为语言模型的输入。接着,采用基于种子词汇表的数据增强策略,将对比学习技术应用到多标签政策分类任务中,以增强语言模型关于多标签政策的语义表征。然后,针对输入样本的不同部分,包括标签文本和原始文本,使用不同形式的遮蔽策略,并利用语言模型的MLM任务进行预测,以充分捕获标签之间的相关性和标签与文本之间的语义信息。最后,通过联合语言模型的MLM任务、对比学习任务以及分类模型的预测任务共同优化,以提高政策分类的准确性。3.为验证我们提出的方法的有效性,我们创建了两个新的人工标记数据集,分别包含约56k和37k条政策。此外,我们还定义了59个标签名称,这些标签名称是用于总结所有收集到的政策的关键主题词。我们的实验结果表明,我们提出的方法WeakPMLC在这两个数据集上达到了约91%的F1分数,并且相对于最先进的弱监督方法提高了4%的性能。此外,我们使用Weak-PMLC生成伪标签后,继续采用MTC-CLCLP将标签关系融入分类模型中。进一步的实验表明,该方法甚至能够与一些监督模型相媲美。

关键词：文本分类政策分类语言模型特定领域预训练弱监督提示学习对比学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：