RISE-D3QN驱动的多无人机数据采集路径规划

作     者：黄泽丰 李涛 HUANG Zefeng;LI Tao

作者机构：南京信息工程大学自动化院南京210044 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第20期

页      面：328-338页

学科分类：08[工学] 0802[工学-机械工程] 0835[工学-软件工程] 080201[工学-机械制造及其自动化] 

基　　金：国家自然科学基金(62373195) 江苏省“333工程”项目(BRA2020067) 

主　　题：无人机 路径规划 深度强化学习 多智能体 物联网 数据采集 

摘      要：无人机辅助物联网数据采集是高效且具有前景的方法。针对路径规划的优化资源分配问题,细化了电量消耗模型,并考虑了三个指标:数据量、时间效率和能源效率。该问题被建模为分布式局部可观测马尔可夫决策过程,并提出一种深度强化学习算法。具体地,将归一化的模型分为四个具体地的无人机电量消耗模型;基于离散动作离线深度强化学习架构,提出一种新的RISE(Rényi state entropy)-D3QN(dueling double deep Q network)算法,结合了内在奖励、优先经验回放和soft-max探索策略,可在无人机电池容量、物联网设备位置、物联网设备数据量、物联网设备数量发生变化的同时规划无人机群的路径。仿真结果表明,相比于传统的D3QN算法以及传统的DQN算法,在确保无人机安全飞行的同时,提高了无人机从物联网设备采集的数据量,并在以此为主要目标的情况下减少了无人机的飞行时间以及能量消耗。