基于可穿戴式多模态人机接口的机械臂运动控制方法

作     者：陆子霖 周亚军 黄骐云 李远清 LU Zilin;ZHOU Yajun;HUANG Qiyun;LI Yuanqing

作者机构：华南理工大学自动化科学与工程学院广东广州510640 人工智能与数字经济广东省实验室(广州)脑机智能研究中心广东广州510330 华南脑控(广东)智能科技有限公司广东广州510320 

出 版 物：《机器人》 (Robot)

年 卷 期：2024年第46卷第1期

页      面：68-80页

核心收录：

学科分类：080202[工学-机械电子工程] 08[工学] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

基　　金：科技部科技创新2030-“脑科学与类脑研究”重大项目(2022ZD0208900) 

主　　题：多模态人机接口 可穿戴设备 机械臂 运动控制 

摘      要：现有的人机接口系统存在指令较少、操作困难、任务能力受限等问题,无法有效拓展到机械臂的多维运动控制。本文提出了一种基于可穿戴式多模态人机接口的机械臂运动控制方法。该方法结合用户的眼电、头部姿态和语音等多模态信号,将其转换成控制指令,从而实现对机械臂在任意角度下的2维和3维连续运动控制。由10名受试者完成了指令输出、2维目标跟踪、字母书写和3维物体抓取等测试。结果显示,系统利用眨眼动作生成指令的平均准确率为96.67%,平均响应时间为1.51 s,平均信息传输率为142.53 bit/min,平均误报率为0.05次/分钟。此外,系统在2维平面沿2条不同路线跟踪目标的均方根偏差分别为0.12和0.14(归一化),抓取3维物体时的平均轨迹效率为92.65%,系统的控制效果与手动控制效果相当。实验结果验证了利用该多模态人机接口实现机械臂高效运动控制的可行性以及它在上肢运动功能辅助方面的应用潜力。