一种新的基于隐喻地图的RPA路径规划算法

作     者：李超群 黄晓芳 周祖宏 廖敏 Li Chaoqun;Huang Xiaofang;Zhou Zuhong;Liao Min

作者机构：西南科技大学计算机科学与技术学院四川绵阳621000 绵阳中心医院四川绵阳621000 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2023年第40卷第4期

页      面：1006-1011页

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金面上项目(62076209) 四川省科技厅重点资助项目(21ZDYF3119,2022YFG0321)。 

主　　题：深度增强学习 DDQN RPA 业务流程自动化 路径规划 采样策略 

摘      要：智能化地制定机器人流程自动化(robotic process automation, RPA)执行路径有利于企业节约相关人力成本以及提高RPA的推广,提出基于改进深度双Q网络(double deep Q-learning algorithms, DDQN)算法进行RPA路径规划。首先针对存在RPA的作业环境即Web页面,不满足深度增强算法的探索条件的问题,借助隐喻地图的思想,通过构建虚拟环境来满足路径规划实验要求。同时为了提高DDQN算法探索效率,提出利用样本之间的位置信息的杰卡德系数,将其作为样本优先度结合基于排名的优先级(rank-based prioritization)构建新的采样方式。通过随机采用任务样本在虚拟环境上进行验证,证明其符合实验要求。进一步比较改进DDQN、深度Q网络(deep Q network, DQN)、DDQN、PPO以及SAC-Discrete算法的实验结果,结果显示改进算法的迭代次数更少、收敛速度更快以及回报值更高,验证了改进DDQN的有效性和可行性。