检索结果-南通市图书馆

检索条件"主题词=卷积初始化"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于标签嵌入和注意力机制的文本分类算法研究

基于标签嵌入和注意力机制的文本分类算法研究

引用

作者：袁国瑞中国科学技术大学

学位级别：硕士

受益于互联网的发展,全世界时时刻刻都会产生大量的文本资源。在这些杂乱无章的文档资源中,其实蕴含着丰富的商业价值,但前提是需要对它们进行有效地组织和管理。面对海量文本,人工处理显然不可取,自动文本分类技术也就应运而生,并成为... 详细信息

受益于互联网的发展,全世界时时刻刻都会产生大量的文本资源。在这些杂乱无章的文档资源中,其实蕴含着丰富的商业价值,但前提是需要对它们进行有效地组织和管理。面对海量文本,人工处理显然不可取,自动文本分类技术也就应运而生,并成为管理文本信息资源不可或缺的工具。关于文本分类的技术研究,可以说层出不穷。传统文本分类领域中,文本表示方法如独热编码通常具有数据稀疏和维度灾难的问题,而特征提取算法如卷积神经网络则无法针对性的关注重要特征。近年来,预训练模型和注意力机制在自然语言处理领域全面发力,取得了巨大的成功,也因此受到更广泛的关注和研究。本文在两种经典模型——卷积神经网络和循环神经网络的基础之上,结合BERT(Bidirectional Encoder Representations from Transformers)等预训练模型、标签嵌入和注意力机制,提出了两种文本分类算法,具体如下:(1)基于标签嵌入的多尺度卷积初始化文本分类算法(Label-Embedding-Based Multi-scale Convolution for Text Classification,LEMC)。LEMC 模型在通过卷积操作捕获局部语义关系的同时,利用K-means算法对数据集的所有样本聚类,并将得到的bi-gram向量用来初始化卷积核,使其能够在训练开始时就专注于学习重要的语义特征。而标签信息的嵌入,则改进了传统的文本表示,从而可以更好的反映文本自身的类别属性。在五个分类任务上的实验结果表明,LEMC模型优于卷积神经网络等经典的文本分类模型,表明卷积初始化和标签嵌入的有效性。此外,卷积初始化和标签嵌入都没有用到外部资源,且只需相对较小的计算量,这对于训练成本可能存在问题的情况很有吸引力。(2)融合标签嵌入的注意力机制下的文本分类算法(Text Classification under the Attention Mechanism Based on Label Embedding,ALEC)。ALEC 模型可以有效地捕捉长距离语义特征,并通过注意力机制,对序列输出特征进行重要性排序和学习。该算法利用BERT模型对文本和标签同时进行词向量化表示,将得到的文本矩阵和标签矩阵转置相乘获得交互矩阵,接着引入注意力机制的思想,利用卷积神经网络对交互矩阵进行特征抽取,获得文本和标签之间的相关性分数,来改进文本矩阵作为输入的双向长短期记忆网络的序列输出特征。实验结果表明,ALEC模型的表现优于其他算法,在测试集上的准确率得到了更大的提升。

关键词：文本分类预训练模型标签嵌入卷积初始化注意力机制

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：