基于知识增强预训练模型的个性化评分预测与解释生成

作     者：王全秀 

作者单位：华东师范大学 

学位级别：硕士

导师姓名：张伟

授予年度：2023年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：基于评论的评分预测 预训练语言模型 知识图 提示学习 解释生成 

摘      要：评分预测作为推荐系统的经典任务,一直以来受到了研究者的广泛关注。随着电商平台的用户数量不断增加,用户生成的评论不断积累,相关研究在用户ID和商品ID的基础上引入了评论文本来提升评分预测的效果。近年来,基于多层堆叠的Transformer结构的预训练模型大批涌现,也得益于GPU算力的不断提升,这些层次深、参数多的大规模预训练模型在文本相关的任务上表现出了卓越的性能。最近,如何将预训练语言模型应用到推荐系统领域正在吸引越来越多研究者的注意。然而现有的研究大多忽略了以下两个方面的探索:(1)如何在预训练模型的基础上建模用户评论的细粒度方面中包含的丰富知识及其相关的知识图;(2)如何将用户、项目、评分以及方面作为提示信息融入到预训练模型中帮助生成解释文本。对于第一个问题,基于个性化评论的评分预测旨在利用现有评论中的文本信息,对用户的兴趣和项目特征进行建模,从而进行评分预测。现有的研究大多集中在对非结构化文本的直接建模上。然而,他们主要有两个问题。首先,很少考虑在每个评论的细粒度方面(aspectlevel)中包含的丰富知识及其相关的知识图来补充纯文本,以便更好地建模用户项目交互。其次,在基于个性化评论的评分预测的下游任务中,并没有仔细研究预训练语言模型的能力。在本文中,提出了一种名为基于预训练语言模型的知识感知协同过滤(KCFPLM)的方法来解决这两个问题。具体来说,为了利用丰富的知识,本文从评论中提取一些方面,构建一个异构带权知识图,并使用一个Transformer网络来建模这些方面关于给定的用户项目对之间的交互作用;另外,为了表示用户和项目,本文将用户或项目的所有历史评论作为预训练语言模型的输入。KCFPLM通过在知识图上的表示传播和基于个性化注意的方面组合,将Transformer网络和预训练语言模型紧密集成。因此,KCFPLM将评论文本、方面、知识图和预训练模型结合成一个统一的模型。本文在几个公共数据集进行了全面的实验,证明了KCFPLM及其主要组件的有效性。对于第二个问题,个性化的解释生成的目标是通过对用户和项目的联合建模,来生成为用户推荐该项目的理由。以往的研究中大部分采用了编码器解码器架构,将用户和项目的ID等属性编码为向量输入到解码器中再翻译为解释文本,事实上,用户和项目ID作为推荐系统中的重要标识符,与待生成的文本之间存在语义鸿沟。而且在真实推荐场景中,解释生成往往面临着提示生成信息不足的问题,或者要依赖系统通过询问用户来获得特征提示信息。另外,预训练语言模型在文本生成任务上有卓越的表现,但由于其复杂的结构和大规模的参数,很少有研究探索将其定制化以适应推荐解释生成任务。受最近Prompt Learning进展的启发,本文提出了基于个性化提示学习解释生成模型PPLGen:通过设计个性化提示模板,使预训练模型能够适应于推荐解释生成任务;为了克服用户ID和项目ID与词语之间的语义鸿沟,设计了嵌入式的Prompt;针对提示信息不足,本文在前置任务中预测了用户对于项目的评分以及感兴趣的方面集作为补充信息。在多个数据集上的实验结果证明了PPLGen模型的优越性。