关联规则推荐的高效分布式计算框架

作     者：李昌盛 伍之昂 张璐 曹杰 LI Chang-Sheng;WU Zhi-Ang;ZHANG Lu;CAO Jie

作者机构：南京财经大学信息工程学院南京210003 南京财经大学江苏省电子商务重点实验室南京210003 中国计算机学会(CCF) 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2019年第42卷第6期

页      面：1218-1231页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(71571093 91646204 71801123)资助~~ 

主　　题：推荐系统 关联规则 频繁模式 FP-growth算法 Spark 负载均衡 

摘      要：关联规则推荐模型是在电子商务网站应用最广泛的商用推荐引擎之一,目前已有的工作大多聚焦于如何挑选高质量规则,以提升推荐精度.然而,关联规则数量庞大,且用户并发访问量通常极大,如何快速匹配用户浏览记录和关联规则库,为海量在线用户产生近实时推荐,成为制约关联规则推荐能否胜任真实电子商务网站推荐的重要因素.为此,本文研究关联规则推荐的效率问题,提出服务于高效关联规则推荐的分布式计算框架,将规则挖掘与推荐计算无缝衔接.具体而言,本文首先设计有序模式森林,用于压缩存储频繁模式;然后将候选规则挖掘转化为森林上的路径搜索计算,并提出高效的单机路径搜索算法;最后提出负载均衡的数据分割策略,同时降低分布式规则挖掘与推荐计算中的任务最迟完成时间.在3个公开数据集的实验结果表明基于有序模式森林的推荐计算比传统穷举匹配策略降低6倍以上时间,同时所提出的分布式计算框架可随计算节点数量达到近线性扩展.