沉浸式虚拟现实多模态交互模型研究

作     者：易心武 薛锦云 游珍 李志辉 周智鹏 YI Xinwu;XUE Jinyun;YOU Zhen;LI Zhihui;ZHOU Zhipeng

作者机构：江西师范大学国家网络化支撑软件国际科技合作基地江西南昌330022 江西师范大学计算机信息工程学院江西南昌330022 

出 版 物：《江西师范大学学报（自然科学版）》 (Journal of Jiangxi Normal University(Natural Science Edition))

年 卷 期：2024年第48卷第1期

页      面：52-58页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：江西省自然科学基金(20212BAB202018) 江西省教育厅科学技术研究课题(GJJ210333) 江西省虚拟仿真实验教学课题(202020048)资助项目 

主　　题：虚拟现实 人机交互 多模态融合 头眼协调 

摘      要：随着虚拟现实技术的发展,鼠标和键盘等传统输入模态已经难以满足沉浸式虚拟现实交互需求,如何使用自然交互方式来满足沉浸式交互任务日益成为研究热点.为了实现自然高效的人机交互,该文首先分析各种单模态交互方式的优缺点,并基于神经科学和运动学的角度划分视线转移;其次,结合头动的稳定性与眼动的高效性以及头眼协调特征设计了一个头眼协调交互模型,通过多模态相互作用减少Midas误触和识别用户意图;最后,针对虚拟现实的目标选择任务进行模态对比实验.实验结果表明:与传统交互模态相比,该交互模型具有更高的精度、更快的时间效率和更高的自然度.