远离旧区域和避免回路的强化探索方法

作     者：蔡丽娇 秦进 陈双 CAI Lijiao;QIN Jin;CHEN Shuang

作者机构：贵州大学计算机科学与技术学院公共大数据国家重点实验室贵阳550025 贵州道坦坦科技股份有限公司贵阳550025 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2023年第49卷第7期

页      面：118-124,134页

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：贵州省科技计划项目(黔科合基础1Y275 黔科合支撑3Y004)。 

主　　题：深度强化学习 奖励稀疏任务 内在奖励 旧区域 回路 

摘      要：以内在动机为导向的探索类强化学习中,通常根据智能体对状态的熟悉程度产生内在奖励,难以获得较合适的近似度量方法,且这种长期累计度量的方式没有重视状态在其所处episode中的作用。Anchor方法使用锚代替分层强化学习中的子目标,鼓励智能体以远离锚的方式进行探索。受Anchor方法的启发,根据转移状态与同一个episode中历史状态之间的距离设计内在奖励函数,进而提出远离旧区域和避免回路的强化探索方法。将当前episode中部分历史状态组成的集合作为区域,周期性更新区域为最近访问的状态集合,根据转移状态与区域的最小距离给予智能体内在奖励,使智能体远离当前最近访问过的旧区域。将转移状态的连续前驱状态作为窗口并规定窗口大小,根据窗口范围内以转移状态为终点的最短回路长度给予内在奖励,防止智能体走回路。在经典的奖励稀疏环境MiniGrid中的实验结果表明,该方法避免了对状态熟悉程度的度量,同时以一个episode为周期对环境进行探索,有效提升了智能体的探索能力。