一种新的基于函数逼近协同更新的DQN算法

作     者：刘青松 陈建平 傅启明 高振 陆悠 吴宏杰 LIU Qing-song;CHEN Jian-ping;FU Qi-ming;GAO Zhen;LU You;WU Hong-Jie

作者机构：苏州科技大学电子与信息工程学院江苏苏州215009 苏州科技大学江苏省建筑智慧节能重点实验室江苏苏州215009 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2020年第47卷第S01期

页      面：130-134,147页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61772357,61750110519,61772355,61702055,61672371,61602334) 江苏省重点研发计划项目(BE2017663) 

主　　题：强化学习 MDP DQN 线性函数 

摘      要：针对经典深度Q网络(Deep Q-Network,DQN)算法在训练初期收敛速度慢的问题,文中提出一种新的基于函数逼近协同更新的DQN算法。该算法在经典的DQN算法的基础上融合了线性函数方法,在训练的初期利用线性函数逼近器来代替神经网络中的行为值函数网络,并提出一种离策略值函数更新规则,与DQN协同更新值函数参数,加快神经网络的参数优化,进而加快算法的收敛速度。将改进后的算法与DQN算法用于CartPole和Mountain Car问题,实验结果表明,改进后的算法具有更快的收敛速度。