基于深度强化学习的存内计算部署优化算法

作     者：胡益笛 夏银水 Hu Yidi;Xia Yinshui

作者机构：宁波大学信息科学与工程学院浙江宁波315211 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2023年第40卷第9期

页      面：2616-2620页

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(62131010,U22A2013) 浙江省创新群体资助项目(LDT23F4021F04) 宁波高新区重大技术创新资助项目(2022BCX050001)。 

主　　题：存内计算 深度强化学习 神经网络部署 近端策略优化 内在激励 

摘      要：针对存内计算大规模神经网络部署导致的计算延迟、运行功耗较大等问题,提出了基于深度强化学习的神经网络部署优化算法。首先,建立了马尔可夫决策过程的任务模型,优化神经网络的延迟和功耗,完成片上计算核心的部署。其次,针对优化部署过程中,存在求解空间过大、探索能力不足等问题,提出了一种基于深度强化学习的智能部署优化算法,从而得到近似最优的神经网络部署策略。最后,针对强化学习探索能力不足的问题,提出了一种基于内在激励的奖励策略,鼓励探索未知解空间,提高部署质量,解决陷入局部最优等问题。实验结果表明,该算法与目前强化学习算法相比能进一步优化功耗和延迟。