基于注意力机制和知识蒸馏的电影评分预测

作     者：刘彤 于思洁 倪维健 Liu Tong;Yu Sijie;Ni Weijian

作者机构：山东科技大学计算机科学与工程学院山东青岛266590 

出 版 物：《计算机应用与软件》 (Computer Applications and Software)

年 卷 期：2024年第41卷第7期

页      面：56-60页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(71704096,61602278) 青岛社科规划项目(QDSKL2001117) 

主　　题：电影评分 深度神经网络 注意力网络 评分预测 知识蒸馏 

摘      要：针对简单的因子分解机模型(Factorization Machines,FM)对于高阶交互的时间复杂度高和神经网络解决复杂问题尺寸过大问题,以电影评分预测为例,提出一种注意力机制和知识蒸馏的深度网络预测模型(Knowledge Distillation Attention Deep Network,K-ADN)。结合注意力网络区分交互特征的重要度而得到注意力值,利用深度神经网络(Deep Neural Networks,DNN)处理高阶特征组合,建立神经网络模型作为教师模型,从知识蒸馏技术出发,以教师模型确保精确度,以学生模型精简模型尺寸,以求获得更有效的评分预测结果。以豆瓣电影为数据来源进行的实验结果表明,该模型预测的精确度有所提高,通过知识蒸馏后参数量减少86%。