基于深度学习的论文引用次数预测方法研究

作     者：马安琪 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：刘宇

授予年度：2022年

学科分类：1205[管理学-图书情报与档案管理] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 120502[管理学-情报学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：引用次数预测 语义特征 双向长短期记忆网络 Transformer 深度学习 

摘      要：随着学术论文的爆发式增长,预测论文的引用次数可以帮助学者提前发现更具影响力的论文,具有一定的实际应用价值,因此如何构建有效的引用次数预测模型已成为学术界广为关注的热点问题。目前已有多种文献计量特征和替代计量特征被用于引用次数预测任务中。此外,学术论文的元数据文本即标题和摘要中包含的语义信息对引用次数是有影响的。然而,现有的引用次数预测研究忽略了元数据文本中的上下文语义信息。针对上述不足以及现有研究常用的方法不适用于提取语义特征的问题,本文提出了一种新的基于双向长短期记忆网络(Bi-LSTM)与注意力机制的引用次数预测模型BILA。BILA首先应用Doc2Vec算法对元数据文本中的句子进行向量化得到句向量矩阵并将其输入到Bi-LSTM中,接下来使用注意力机制从Bi-LSTM所生成的隐藏状态矩阵中进一步提取元数据文本的深层语义特征,最后将元数据文本的语义表征与早期引用特征进行融合用于长期引用次数预测。在先前提出的方法验证了元数据文本语义特征的有效性的基础上,为了解决Bi-LSTM无法实现并行计算的问题,进一步提升模型的引用次数预测性能,本文提出了一种新的基于层次Transformer的引用次数预测模型HTN,提升了在长文本数据上的计算效率。HTN首先根据词嵌入矩阵和单词位置编码矩阵计算句子级别的上下文语义表征,然后利用句子上下文语义表征矩阵和句子位置编码矩阵生成段落级别的上下文语义表征,最后将段落上下文语义表征与早期引用特征进行融合用于长期引用次数预测。本文收集了人工智能领域的高水平期刊论文来构建引用次数预测数据集,并在该数据集上进行了一系列实验。实验结果验证了BILA模型在长期引用次数预测任务上的有效性与可行性,同时该模型对于高被引论文的引用次数预测也有着良好的效果,并且元数据文本的语义特征有助于提高模型的预测精度。此外,HTN模型具有更好的预测性能,并且进一步加强了元数据文本的语义特征对引用次数预测性能的贡献。