面向深度强化学习的后门攻击与防御机制研究

作     者：沈效羽 

作者单位：广州大学 

学位级别：硕士

导师姓名：陈孔阳

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0839[工学-网络空间安全] 0835[工学-软件工程] 0811[工学-控制科学与工程] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度强化学习 后门攻击 对抗攻击 后门逆向 模型遗忘 

摘      要：强化学习在现实世界的许多领域都有广泛的应用,例如机器人控制、游戏玩法优化、金融交易策略、智能交通管理等。强化学习采用了马尔可夫决策过程(Markov Decision Process,MDP),令智能体根据当前环境的状态,选择最优的动作,并通过与环境的交互来获得奖励,从而学习到在不同状态下选择最优动作的策略。近年来,随着深度学习技术的发展,深度强化学习(Deep Reinforcement Learning,DRL)作为强化学习与深度学习相结合的一种方法,取得了许多令人瞩目的成果。深度强化学习通过将深度神经网络应用于强化学习任务中,能够处理大规模、高维度的状态空间和动作空间,从而解决了传统强化学习方法面临的维度灾难等问题。 然而,随着深度强化学习取得重大进展,其暴露的安全问题也逐渐显现。由于深度神经网络的黑盒性质,深度强化学习模型容易遭到对抗攻击、后门攻击以及隐私泄露等。因此,研究深度强化学习的攻击与防御机制具有现实意义。目前,深度强化学习的攻击与防御方法还存在诸多问题,其中包括:后门攻击缺少隐蔽性,攻击时的后门样本容易被用户察觉;适用于传统分类算法中的后门防御方法在强化学习中失效。本文以Atari游戏为场景,就上述问题展开深入的研究和探讨。本文的主要贡献如下: (1)针对强化学习后门的隐蔽性与泛化性问题,提出了基于FGSM与对抗训练的对抗式后门攻击。该方案通过FGSM算法生成对抗扰动,将其作为低值触发器投入到后门训练中。并在后门训练过程中结合对抗训练,使得后门在训练后具有更低的泛化性,对随机噪声有较低的敏感度。相较于主流攻击方案,本方案训练得到的后门更难以被观察和检测。此外,该方法训练出的模型在性能表现上与原始的强化学习模型相当。 (2)针对原Neural Cleanse算法与原模型遗忘方法在强化学习场景中失效的问题,提出了基于Neural Cleanse与模型遗忘的后门防御方案。通过对当前后门逆向方法原理的分析,本文将Neural Cleanse优化为适用于强化学习的后门逆向算法。此外,在后门消除阶段,本文通过将强化学习问题转化为监督学习问题,成功应用了模型遗忘方法。实验结果表明,本文提出的方法能够有效逆向出后门模型的高值触发器,并且能够有效消除后门。