采用图像进行动作模仿的机器人舞蹈系统

作     者：杨锦隆 

作者单位：厦门大学 

学位级别：硕士

导师姓名：周昌乐

授予年度：2019年

学科分类：080202[工学-机械电子工程] 08[工学] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

主      题：人体姿态估计 动作模仿 机器人舞蹈 人机交互 

摘      要：在智能机器人领域,机器人舞蹈由于其观赏性、趣味性以及与人的交互性,一直以来都有许多相关研究。目前的实现途径,通常是针对特定的动作序列预先编写好动作指令,或根据音乐与节奏等特征自动生成一段动作。如果能让机器人通过观看人类跳舞,便能够跳出相似的舞蹈动作,那么就使机器人具有了模仿人的动作的能力,免除了预置动作指令的过程,增强了与人的交互性。而如何得到演示者的姿态信息就成为了关键。另一方面,深度学习在对RGB图像中的人体姿态估计与行为识别方面取得了突破性成果。这使得直接通过RGB图像分析出人体关键点位置成为可能,从而摆脱对专业人体捕捉设备的依赖。本论文构建了一个利用深度学习方法进行人体姿态估计,以动作模仿作为实现方式的机器人舞蹈系统。文中采用基于深度学习的方法来进行人体关键点检测,对舞蹈画面进行分析后,得出演示者各关键点的位置坐标。通过机器人逆运动学求解得到机器人各关节角度值,再调整下半身关节角度值来保持机器人的平衡。最终在优必选alpha ebot人形机器人上进行了实验。实验表明该系统可通过分析RGB图像,来获得演示者各关键点的二维和三维坐标,达到动作捕捉的目的。并可以将得到的姿态信息转换成机器人的动作指令,来使机器人对演示者的动作进行模仿,提高了机器人舞蹈的灵活性与交互性。在未来的工作中,还需要提高人体关键点识别的准确度,并选用自由度更大的人形机器人,从而更加精准的模仿人类舞蹈动作。