面向人机交互的眼动编码伺服控制方法研究

作     者：陈鹏龙 

作者单位：长春大学 

学位级别：硕士

导师姓名：孙向阳;段洁

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 080201[工学-机械制造及其自动化] 

主      题：人机交互 机器视觉 人眼检测 眼动 强化学习 

摘      要：针对目前人机视觉交互在眼动伺服控制领域中眼动控制存在的精度较低、可靠性较差以及人眼意图主动性不足等问题,提出了一种基于人眼眼动编码技术的伺服控制方法。通过编码化处理人眼眼动指令,并与人眼眼动意图相融合来实现人眼意图的智能化伺服控制。为了构建眼动视觉伺服控制空间模型,在人眼视觉-全局机器视觉-局部机器视觉的三维空间视觉场基础上,同步动态匹配人机双目视觉后,采用追踪视场实时切换方法,来完成人眼注视坐标、追踪目标坐标以及伺服控制坐标的数据精确采集。为了提高眼动伺服控制精度,提出了一种眼动指令编码化处理方法,分别使用经过训练的Ada Boost融合强分类器算法和标志性探测器检测视频序列中实时算法来完成人眼定位与眨眼判定。提出一种改进多角点联合检测的瞳孔定位方法,利用眼部图像点信息完成瞳孔位置定位,构建出人眼指令动作的数字化编码模型,为眼动伺服控制提供指令库。为提高眼动伺服控制中可靠性和意图主动性,提出了融合眼动编码指令和意图的强化学习方法。通过改进的DDPG连续控制策略强化学习算法与眼动意图指令相融合,实现人机交互过程中感知环境状态并学习得到眼动指令选择的最优策略。通过实验对比,融合人眼眼动意图推理方法抓取物体的准确率比常规方法高约10%。