推荐算法时间动态特性研究及其分布式实现

作     者：朱思丞 

作者单位：浙江大学 

学位级别：硕士

导师姓名：孙志锋

授予年度：2015年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：推荐系统 动态特性 矩阵分解 时间信息 MapReduce 

摘      要：近年来,随着信息行业的高速发展,产生数据量越来越多,使我们饱受“信息过载的困扰。推荐系统的诞生即是为了解决信息过载的问题,然而传统的推荐算法没有考虑时间信息的动态特性,使得推荐效果受到影响,同时,推荐算法的实时性还受到大数据量的考验,对此,本文做了如下工作：对推荐系统的用户兴趣变化、用户评分变化、季节效应、节假日效应等时间效应和动态特性做了研究,总结了国内外对推荐系统的时间信息动态特性的研究进展,并将用户偏好和产品受欢迎度随时间变化信息融合到矩阵分解模型中,采用Netflix Probe测试数据集和Movielens 1M数据集进行了实验,实验结果表明,融入时间信息的TemporalBMF算法比BMF的评分预测误差有所降低,准确度明显提升。研究用并行化交替最小二乘法(ALS)、随机梯度下降法(SGD)和分布式随机梯度下降法(DSGD)来优化矩阵分解推荐算法,给出了具体的MapReduce实现步骤,实现了基于Hadoop MapReduce的矩阵分解ALS、SGD、DSGD算法,对比了算法的收敛性能、准确率、迭代时间。最后,基于Spark实现DSGD优化的TemporalBMF和MF算法,实验结果证明了算法并行化的可行性和有效性。