基于注意力神经网络的文本内容推荐研究

作     者：牛耀强 

作者单位：兰州交通大学 

学位级别：硕士

导师姓名：孟昱煜;尹瑞峰

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：文本内容推荐 长期兴趣 短期兴趣 异质数据 个性化 

摘      要：在当前大数据环境下,随着文本应用规模的不断增大,信息过载问题愈演愈烈,已成为当前文本应用领域亟须解决的问题。推荐系统作为一种根据用户的信息需求和兴趣偏好向用户提供决策支持的特殊手段,对于解决信息过载具有显著意义。对于推荐方法来说,好的特征提取能力能对推荐系统起到事半功倍的效果,因此,基于深度学习的推荐方法随着深度学习在特征提取能力上的天然优势成为解决信息过载问题的重要研究热点。在文本应用领域,文本应用数据量剧增导致的数据稀疏性问题依然严重,且在以往的文本推荐任务中,对于用户的长期兴趣建模推荐较多,但是通过用户的心理规律分析,用户的兴趣会随着时间、环境、当时状态等的影响而发生迁移。基于上述考虑,本文从缓解文本应用平台数据稀疏性问题出发,针对用户的长期兴趣和短期兴趣分别提出不同的推荐方法,主要研究内容如下:（1）针对用户的长期兴趣,提出了基于多通道注意力CNN的推荐模型,模型不仅使用了显式数据（用户信息、用户喜欢的文本）,而且还使用了隐式数据（用户不喜欢的文本、相关文本的作者信息）,丰富了用户画像表示;通过句向量（PV-DM）的方法分别将用户和文本信息嵌入到低维稠密的矩阵中,克服了传统文本表示方法编码稀疏、维度过高的问题;考虑到一般文本内容较长,为了能有效抓取词与词、词与句子之间的关联性,在文本信息通道中使用了注意力CNN进行处理。最后将各通道的输出矩阵首尾连接得到用户的最终表示,经Sigmoid函数来预测每个目标文本的概率产生推荐。试验结果说明本文提出的模型具有一定效果。（2）针对用户的短期兴趣,提出了基于异质注意力RNN的推荐模型。为了缓解数据稀疏性、准确的对用户偏好特征建模,除了将文本内容信息嵌入模型中外,还启发性的将用户的关系网络也嵌入模型,分别使用句向量和TransR的方法将以上两种数据嵌入到两个不同的矩阵中,将这两个矩阵的融合作为用户兴趣的抽象表示;在短期模型构建中,为了充分表示用户短期内潜在偏好特征的动态性,使用Encoder-Decoder作为模型的基本框架,将用户短期内的偏好行为作为编码器的输入,并在编码器和解码器中间引入Attention机制的方法来建模用户的偏好变化的动态性;最后通过Bi-GRU层、前馈层和softmax层,得到推荐列表。实验结果说明本文提出的短期推荐模型推荐准确性上具有优越性,同时还能向用户推荐新的文本项目。