基于参考模型的输出反馈强化学习控制

作     者：郝钏钏 方舟 李平 

作者机构：浙江大学控制科学与工程学系浙江杭州310027 浙江大学航空航天学院浙江杭州310027 

出 版 物：《浙江大学学报（工学版）》 (Journal of Zhejiang University：Engineering Science)

年 卷 期：2013年第47卷第3期

页      面：409-414,479页

核心收录：

学科分类：0810[工学-信息与通信工程] 08[工学] 081104[工学-模式识别与智能系统] 0805[工学-材料科学与工程（可授工学、理学学位）] 0802[工学-机械工程] 0811[工学-控制科学与工程] 080201[工学-机械制造及其自动化] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61004066) 浙江省科技厅公益性技术资助项目(2011C23106) 中央高校基本科研业务费专项资金资助项目(2011FZA4031) 

主　　题：强化学习控制 回报函数构造 eNAC算法 输出反馈控制策略 

摘      要：现有的直接策略搜索强化学习控制算法大多是状态完全可观对象设计状态反馈控制策略,其适用的对象范围十分有限.为此,提出一种适用范围更广的模型参考输出反馈强化学习控制算法,其学习过程仅依赖对象输出,并可以获得使闭环系统具有期望动态性能的输出反馈控制策略.算法构造了以参考模型为基础的回报函数,可以有效地描述系统的期望闭环动态性能;采用以PID输出反馈控制律为基础的参数化随机控制策略,以便于利用先验知识、依据控制领域常用的PID参数经验整定方法确定较好的初始策略,以缩短学习时间;并使用具有良好学习性能的eNAC算法进行控制策略优化.二阶开环不稳定对象和某型高亚音速无人机俯仰通道线性参变(LPV)模型的学习控制仿真结果验证了算法的有效性.