面向无人机辅助WSN的改进DDPG算法

作     者：孙爱晶 魏德 孙驰 SUN Aijing;WEI De;SUN Chi

作者机构：西安邮电大学通信与信息工程学院陕西西安710121 陕西省信息通信网络及安全重点实验室陕西西安710121 

出 版 物：《西安邮电大学学报》 (Journal of Xi’an University of Posts and Telecommunications)

年 卷 期：2024年第29卷第3期

页      面：1-11页

学科分类：080904[工学-电磁场与微波技术] 0810[工学-信息与通信工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 

基　　金：国家自然科学基金项目(62271391) 陕西省教育厅服务地方专项科研项目(21JC032) 

主　　题：无人机 无线传感器网络 深度确定性策略梯度 信息新鲜度 玻尔兹曼策略 长短记忆神经网络 

摘      要：为了减小无人机辅助无线传感器网络(Unmanned Aerial Vehicle Assisted Wireless Sensor Network,UAV-WSN)数据收集的信息新鲜度(the Age of Information,AoI),提出一种改进的深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法。构建最小AoI的马尔可夫决策过程(Markov Decision Process,MDP)模型,通过经验回放矩阵和双层网络结构提高算法的收敛速度。将玻尔兹曼策略引入搜索策略中,解决UAV-WSN系统在选择最优动作时局部最优的问题,采用多层长短期记忆神经网络模型,以控制经验池中信息的记忆和遗忘程度,避免算法训练时回合间相互影响。将所提算法与演员-评论家(Actor-Critic,AC)算法、深度Q网络(Deep Q-Network,DQN)算法、DDPG算法及random算法对比,结果表明,改进的DDPG算法具有较好的收敛性和稳定性,能够最小化AoI。