基于深度强化学习的多域联合干扰规避

作     者：潘筱茜 张姣 刘琰 王杉 陈海涛 赵海涛 魏急波 PAN Xiaoqian;ZHANG Jiao;LIU Yan;WANG Shan;CHEN Haitao;ZHAO Haitao;WEI Jibo

作者机构：国防科技大学电子科学学院湖南长沙410073 中国人民解放军91428部队浙江宁波315456 

出 版 物：《信号处理》 (Journal of Signal Processing)

年 卷 期：2022年第38卷第12期

页      面：2572-2581页

核心收录：

学科分类：0810[工学-信息与通信工程] 08[工学] 080203[工学-机械设计及理论] 081001[工学-通信与信息系统] 0802[工学-机械工程] 

基　　金：国家自然科学基金项目(62001483 62171449) 

主　　题：干扰规避 深度强化学习 近端策略优化 

摘      要：无线通信系统的信道开放性使其极易受到外部恶意干扰、通信链路质量难以保证,针对以上问题,本文设计了一种基于深度强化学习的多域联合干扰规避决策方法。该方法联合频域、功率域、调制编码域三个域的抗干扰手段进行干扰规避,在考虑系统性能的同时实现可靠通信。首先,将联合智能干扰规避问题建模为一个马尔可夫决策过程(MDP,Markov Decision Process),动作空间包含切换信道、功率控制、改变调制编码方式。然后,采用基于剪裁的近端策略优化算法(PPO-Clip,Proximal Policy Optimization-Clip)求解获得系统的最优联合干扰规避策略。PPO-Clip算法在多回合训练中以小数量样本迭代更新,避免了策略梯度算法中步长难以确定和更新差异过大的问题。最后,分别在扫频干扰、随机扫频干扰和智能阻塞干扰环境下验证了所提算法的有效性和可靠性。