小众推荐技术研究与应用

作     者：路华 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：傅彦

授予年度：2011年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：推荐系统 协同过滤 多样性 

摘      要：随着技术进步和互联网的发展,人们的信息处理能力已经远远落后于信息的产生速度。面对信息过载,搜索引擎只能被动接受指示,无法主动筛选信息。推荐系统虽然被证明是解决该问题的有效途径,但是经典协同过滤算法过度关注流行产品,推荐范围也趋向集中,难以实现长尾中蕴藏的价值。一方面,优质产品和信息得不到关注,另一方面,用户面对着信息的汪洋无从选择。小众推荐,或者叫做多样性推荐、新颖推荐、惊喜推荐的目的便是搭起一座桥梁,连接用户和其所需的产品和信息,扩展用户视野,满足其多方面的需求和爱好。 为了这个目的,本论文提供了两个策略。在使用时可配合其它面向准确率的推荐算法,来兼顾准确性和多样性。 第一种方法,将多样性问题理解为在陌生领域的冷启动问题。认为多样性缺失是因为数据不足,反映不出用户的完整喜好。该方法的目标不是在信息不足的情况下得到更准确的结果,而是设法尽快结束信息不足的困境。它借鉴了决策树中信息增益的概念,倾向推荐对用户喜好最具判别力的产品。 第二种方法,认为用户会借助推荐列表的指引来探索未知产品和信息。好的推荐列表应该能引导用户接触新的领域,同时本身又不失一定的代表性。本方法包裹在另一个推荐算法之上,它分析宿主算法的推荐行为,生成物品间的推荐网络。借助物品间的推荐网络,通过一个产品可否把未来推荐引向陌生领域来判断其扩展性,又通过一个产品在网络中被推荐的次数来度量其代表性和推荐价值,并将两者综合考虑。本文认为每个推荐结果都具有潜在的,扩展用户视野的机会。对这种机会的浪费程度能用来衡量推荐列表的多样性。实验表明本文的方法有利于用户接触更多的未知领域。 另外为了更好的兼顾准确率和多样性,本文分析了推荐列表中不同位置的区别,还比较了加权和置换,这两种融合方式的异同。 最后本文给出了一种在MapReduce框架Hadoop上实现物质扩散推荐算法的方式。将物质扩散看作一种特殊的物品间相似度,并通过三次MapReduce过程完成相似度的计算。