基于深度强化学习的协同过滤推荐算法数据投毒攻击研究

作     者：范嘉昕 

作者单位：广州大学 

学位级别：硕士

导师姓名：李默涵

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：推荐系统 协同过滤推荐算法 数据投毒攻击 深度强化学习 

摘      要：随着推荐系统和协同过滤推荐算法在电商、流媒体、社交网络等在线平台的普及,其对个性化内容的准确推荐变得至关重要。而推荐系统的安全性和鲁棒性问题随之凸显,尤其是面对数据投毒攻击展现的脆弱性。在这种攻击中,恶意攻击者通过注入虚假用户交互数据以操纵推荐系统的输出,达到个人利益的不当获取或危害推荐系统功能的目的。目前传统的投毒攻击方法大都需要推荐系统全面的背景知识,没有考虑推荐系统的动态性和推荐算法的复杂性,在这种情况下生成的虚假用户交互数据很难突破推荐系统的防御检测机制,导致攻击效果不佳。本文的研究重点便是通过深度强化学习技术,持续动态调整攻击策略以适应推荐场景的变化,从而生成更加高效和隐蔽的虚假用户交互数据,完成针对目标项目的数据投毒攻击。本文的主要贡献和创新点包括以下三个方面: (1)在白盒环境下提出了名为DRLAttack的攻击方法,该方法基于深度强化学习技术,即深度Q网络(DQN)及其变体算法,针对目标项目通过相似性度量方法找到其相似项目,设计了新型的动作空间和奖励函数,并引入Dueling Network改进了智能体攻击策略的优化过程。此外,结合Rec Bole推荐系统库,完善了虚假用户交互数据的自动化生成过程,使DRLAttack可以动态生成高质量的虚假用户交互数据,模拟真实用户的评分或交互行为,完成针对目标项目进行推广攻击的目的。 (2)改进了DRLAttack攻击方法,使之能适用于黑盒场景。该场景下攻击者无法获得普通用户的推荐列表,在缺乏奖励信息反馈的情况下,DRLAttack通过引入间谍用户模拟训练数据集中的积极用户和不积极用户的交互行为,来间接获取目标项目的推广情况,并据此调整攻击策略。为了逃避推荐系统防御检测机制,间谍用户的数量受到限制,通过改进奖励函数的设计,把目标项目的命中率和在推荐列表中的位次进行加权求和来给智能体提供了更多的反馈信息。在此基础上,DRLAttack又引入了LSTM网络,可以捕捉虚假用户交互行为的动态变化,为智能体提供了一种更加灵活的学习机制。 (3)基于上述技术,设计了针对协同过滤推荐算法的投毒攻击系统,该系统可以选择训练数据集、推荐算法和投毒攻击方法,输入必需的攻击参数,并在后台进行训练和评估过程后,生成投毒攻击方法的攻击效果,并在前端界面进行可视化展示。