检索结果-南通市图书馆

维普期刊数据库

MSML-BERT模型的层级多标签文本分类方法研究

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2022年第15期58卷 191-201页

作者：黄伟刘贵全中国科学技术大学大数据学院合肥230027 中国科学技术大学计算机科学与技术学院合肥230027 中国科学技术大学大数据分析与应用安徽省重点实验室合肥230027

层级多标签文本分类相比普通的多标签文本分类更具有挑战性,因为文本的多个标签组织成树状的层次结构。当前方法使用相同的模型结构来预测不同层级的标签,忽略了它们之间的差异性和多样性。并且没有充分地建模层级依赖关系,造成各层级... 详细信息

层级多标签文本分类相比普通的多标签文本分类更具有挑战性,因为文本的多个标签组织成树状的层次结构。当前方法使用相同的模型结构来预测不同层级的标签,忽略了它们之间的差异性和多样性。并且没有充分地建模层级依赖关系,造成各层级标签尤其是下层长尾标签的预测性能差,且会导致标签不一致性问题。为了解决以上问题,将多任务学习架构引入,提出了MSML-BERT模型。该模型将标签结构中每一层的标签分类网络视为一个学习任务,通过任务间知识的共享和传递,提高各层级任务的性能。基于此,设计了多尺度特征抽取模块,用于捕捉不同尺度和粒度的特征以形成不同层级需要的各种知识。进一步,设计了多层级信息传播模块,用于充分建模层级依赖,在不同层级之间传递知识,以帮助下层任务。在该模块中,设计了层次化门控机制,为了过滤不同层级任务之间的知识流动。在RCV1-V2、NYT和WOS数据集上进行了充分的实验,结果显示该模型的总体表现尤其是在下层长尾标签上的表现超过了其他主流模型,并且能维持较低的标签不一致比率。

关键词：层级多标签文本分类多任务学习架构 BERT 多尺度特征抽取模块多层级信息传播模块

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

面向金融事件检测的层级多标签文本分类

面向金融事件检测的层级多标签文本分类

作者：梁鑫华东师范大学

学位级别：硕士

上市公司在股票交易市场中的股价很容易受到各种事件的影响,投资者进行事件检测可以帮助人们及时识别伴随这些事件的投资风险和机会。金融事件体系往往呈现为层级结构,在实际应用中可以用树形结构来表示这些事件,因此本文将金融事件检... 详细信息

上市公司在股票交易市场中的股价很容易受到各种事件的影响,投资者进行事件检测可以帮助人们及时识别伴随这些事件的投资风险和机会。金融事件体系往往呈现为层级结构,在实际应用中可以用树形结构来表示这些事件,因此本文将金融事件检测问题建模为一个层级多标签文本分类问题,其中每个事件就是一条从根结点到目标节点的序列标签。常规的层级多标签文本分类方法通常会忽略事件层级间存在的依赖关系,将每个事件都视为独立的个体,施以相同的惩罚系数。针对这个问题,本文从数据集构建、算法设计和实验对比三个方面构建解决方案,总体来说本文的核心贡献如下:·本文针对具有大量事件类别标签的金融应用场景,提出了一种神经层级多标签文本分类算法,即F-HMTC。F-HMTC基于Transformer的编码单元来学习文本的潜在特征,使用一层前馈神经网络作为分类器。为了有效引入层级依赖信息辅助文本分类,本文设计了基于层级多标签文本距离和迭代正则机制的目标函数引导模型优化。·本文提出了一种有效区分层级分类结果的工业评估指标,即HMDScore,并利用该指标对模型表现进行衡量。许多研究基于拍平分类的评价指标比如准确性/错误率和精确率/召回率来衡量层级分类模型,但这些指标实际上并不能将不同类型的错误进行区分,因为不同的错误所代表的意义也不一样。因此本文基于层级多标签距离提出了适合我们实际应用场景的HMDScore。大量实验表明,该指标可以有效衡量层级分类模型的表现。·本文从实际应用场景出发构建了一个准确完整的数据集,并基于该数据集开展了大量对比实验来验证本文提出的结论。为了开发出贴近实际应用场景的检测算法,本工作从头构建了模型训练的数据集。数据集构建包括数据收集和文本标注两个部分,对于前者,本工作基于爬虫技术获取了丰富的文本语料,在标注部分我们结合模型迭代中发现的问题设计了科学有效的预推荐和标注策略。最后,本文基于层级抽样的策略组织业务专家对测试集进行复核,确保数据集可以准确反应真实的业务场景和模型的泛化能力。

关键词：层级多标签文本分类事件检测注意力机制层级信息依赖多标签距离

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向分级阅读的儿童读物层级多标签分类研究

数据分析与知识发现 2023年第7期7卷 156-169页

作者：成全董佳福州大学经济与管理学院福州350116

【目的】构建儿童读物层级多标签分类模型,实现对儿童读物的自动化分类,以引导儿童读者选择适合自身发展情况的读物。【方法】将分级阅读的理念具化成儿童读物层级分类标签体系,采用深度学习技术构建ERNIE-HAM模型,并将其应用于儿童读... 详细信息

【目的】构建儿童读物层级多标签分类模型,实现对儿童读物的自动化分类,以引导儿童读者选择适合自身发展情况的读物。【方法】将分级阅读的理念具化成儿童读物层级分类标签体系,采用深度学习技术构建ERNIE-HAM模型,并将其应用于儿童读物的层级多标签文本分类。【结果】通过对比4种预训练模型,ERNIE-HAM模型在儿童读物层级分类的第二层级、第三层级分类中具有较好的表现;对比单层级算法,层级算法在第二层级和第三层级的AU(PRC)值都提升了约11个百分点;对比HFT-CNN和HMCN两个层级多标签分类模型,ERNIE-HAM模型在第三层级的分类结果中AU(PRC)值分别提升12.79和6.48个百分点。【局限】ERNIE-HAM模型的整体分类效果有待进一步提升,未来在数据集的体量扩充和算法设计上需要进一步完善和探索。【结论】ERNIE-HAM模型在儿童读物层级多标签分类任务上具有有效性。

关键词：分级阅读儿童读物分类层级多标签文本分类分类体系

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

面向分级阅读的儿童读物层级多标签分类研究

面向分级阅读的儿童读物层级多标签分类研究

作者：董佳福州大学

学位级别：硕士

随着我国儿童阅读率逐年攀升和童书出版行业迅速发展,为儿童读者选择适合的读物成为了困扰家长的一大难题。分级阅读作为符合儿童成长规律且能够指导儿童科学阅读的理念逐渐受到相关研究者的关注,但是不同于国外成熟的分级阅读模式,我... 详细信息

随着我国儿童阅读率逐年攀升和童书出版行业迅速发展,为儿童读者选择适合的读物成为了困扰家长的一大难题。分级阅读作为符合儿童成长规律且能够指导儿童科学阅读的理念逐渐受到相关研究者的关注,但是不同于国外成熟的分级阅读模式,我国对于分级阅读的研究仍处于探索阶段,部分研究机构发布的分级阅读推荐书目缺乏灵活性和普适性,而童书出版商更多是将其作为营销的噱头,难以起到对家长和孩子的选书购书的引导作用。本研究则将分级阅读的理念具化成涵盖了儿童认知发展阶段、心智发展方向、阅读偏好等多个方面的儿童读物层级分类标签体系,用以引导儿童读者选择更加适合自身发展情况的读物。此外,采用基于深度学习的文本分类技术实现对于海量儿童读物的多层级、细粒度的多标签自动分类,提高了儿童读物分类的整体效率。本文围绕儿童读物层级多标签分类问题从以下三个方面展开研究。(1)通过文献调研方法梳理并分析了儿童的认知发展阶段和心智发展方向,将分级阅读理念具化成儿童读物层级多标签分类体系。通过网络爬虫采集当当网的儿童读物数据并对其进行初步清洗,然后通过数据标注对分类标签体系进行迭代更新,最终构建了三层树形结构包含95个标签的儿童读物层级多标签分类体系,同时将标注完成的11,235条儿童读物文本数据作为层级多标签分类模型实证环节的语料库。(2)构建了基于ERNIE-HAM的层级多标签文本分类模型,模型由基于ERNIE微调的文本表示层和基于注意力机制的层级传递模块组成,模型设计中主要创新点就是利用标签注意力模块获取融合层级标签信息的文本特征,并通过层级传递模块学习层级标签之间的关系,将上层信息融入到下层输入中,让模型能充分利用到层级之间的语义信息,并将三个层级的二分类交叉熵损失相累加作为模型的损失函数。(3)基于ERNIE-HAM的层级多标签文本分类模型在儿童读物语料库上的实证研究。通过对比不同预训练模型、层级与单层级算法以及现有的HFT-CNN、HMCN层级多标签算法,证明了本文所提出的模型在儿童读物层级多标签分类任务上的有效性。

关键词：分级阅读儿童读物分类分类体系层级多标签文本分类

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电信客户投诉智能分类系统的研究与实现

电信客户投诉智能分类系统的研究与实现

作者：徐梦北京邮电大学

学位级别：硕士

客户投诉是企业多方位问题以及潜在需求的集中式反馈,其处理直接关系到企业的可持续发展。随着客户投诉数量、种类的快速增长,智能投诉分类系统受到了广泛关注。然而,现有的电信客户投诉智能分类系统仍存在一些问题:(1)缺乏高性能的客... 详细信息

客户投诉是企业多方位问题以及潜在需求的集中式反馈,其处理直接关系到企业的可持续发展。随着客户投诉数量、种类的快速增长,智能投诉分类系统受到了广泛关注。然而,现有的电信客户投诉智能分类系统仍存在一些问题:(1)缺乏高性能的客户投诉分类算法,一是对于数据处理问题关注度低,二是现有模型未能充分利用层级多标签文本分类的标签约束关系;(2)智能化不足,用户难以实现数据、模型的更新及维护,更难以适应复杂多变的应用场景。针对上述问题,本文的主要研究内容及成果包括:(1)提出了一种高性能的电信客户投诉智能分类方法。首先,该方法基于电信客户投诉数据的特点,制定了一套数据分析及处理方案;其次,设计了层级关联的多标签文本分类模型,该模型提出门控引导的复杂结构标签编码、层级信息关联学习,以及兼顾上下层分类器的多任务损失权重自适应更新等方法,实现了层级标签约束信息的充分利用;最后,将该模型与传统规则匹配相结合,实现了多级决策的电信客户投诉智能分类方法,实验结果表明,本文所提方法显著提升了电信客户投诉分类的算法性能;(2)围绕客户投诉分类方法,构建了一个高智能的电信客户投诉分类系统。系统集客户投诉数据管理、模型管理及分类服务于一体,特别是提供了丰富的数据版本管理能力、灵活可控的自定义编码能力、以及自适应及人工干预式的模型更新能力,覆盖了模型服务更新及落地的所有流程,实现了辅助用户快速更新、维护模型的目标,提升了系统的智能化水平。

关键词：电信客户投诉分类系统层级多标签文本分类智能化

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向分级阅读的儿童读物层级多标签分类研究

基于K-BERT-LDA的层级多标签招标标段分类方法

图书馆学情报学 2023年第12期

作者：成全董佳

【目的】构建儿童读物层级多标签分类模型，实现对儿童读物的自动化分类，以引导儿童读者选择适合自身发展情况的读物。【方法】将分级阅读的理念具化成儿童读物层级分类标签体系，采用深度学习技术构建ERNIE-HAM模型，并将其应用于儿... 详细信息

【目的】构建儿童读物层级多标签分类模型，实现对儿童读物的自动化分类，以引导儿童读者选择适合自身发展情况的读物。【方法】将分级阅读的理念具化成儿童读物层级分类标签体系，采用深度学习技术构建ERNIE-HAM模型，并将其应用于儿童读物的层级多标签文本分类。【结果】通过对比4种预训练模型，ERNIE-HAM模型在儿童读物层级分类的第二层级、第三层级分类中具有较好的表现；对比单层级算法，层级算法在第二层级和第三层级的()值都提升了约11个百分点；对比HFT-CNN和HMCN两个层级多标签分类模型，ERNIE-HAM模型在第三层级的分类结果中()值分别提升12.79和6.48个百分点。【局限】ERNIE-HAM模型的整体分类效果有待进一步提升，未来在数据集的体量扩充和算法设计上需要进一步完善和探索。【结论】ERNIE-HAM模型在儿童读物层级多标签分类任务上具有有效性。

关键词：分级阅读儿童读物分类层级多标签文本分类分类体系 Graded Reading Classification of Children's Books Hierarchical Multi-label Text Classification Classification System

来源：人大复印报刊资料评论

在线全文

人大复印报刊资料

学校读者我要写书评

暂无评论

软件导刊 2024年第12期 66-74页

作者：侯继辉吴小忠刘晖夏卓群梁涤青邱涵徐嘉慧湖南湘能创业项目管理有限公司长沙理工大学计算机与通信工程学院

传统人工招标分标效率准确率低，针对语义特征稀疏且标签具有明显层级结构特点的物资招标文本，提出了一种基于K-BERT-LDA的层级多标签文本分类方法。首先，通过混合模型提取文本特征，K-BERT模型提取具有知识注入的文本特征以弥补语义... 详细信息

传统人工招标分标效率准确率低，针对语义特征稀疏且标签具有明显层级结构特点的物资招标文本，提出了一种基于K-BERT-LDA的层级多标签文本分类方法。首先，通过混合模型提取文本特征，K-BERT模型提取具有知识注入的文本特征以弥补语义信息缺失，LDA主题模型提取主题分布特征，并通过特征融合进一步丰富文本特征表示。其次，联合嵌入类别标签，即上层标签预测结果能引导下层分类，并充分利用标签间的树形结构关系提升多标签文本分类准确性。最后，提出一种基于文本相似度算法的智能处理策略，通过合并预投资金额不足的标段以保障招标成功率并得到分标结果。实验表明，所提方法相较于其他分类方法及单一模型而言分类性能更好，准确率、精确度和F1值分别达到95.45%、92.57%和91.88%，能高效、准确地实现智能分标目的。

关键词：招标分标层级多标签文本分类知识注入主题分布特征融合文本相似度

同方期刊数据库博看期刊