基于Mediapipe的幻影成像装置自然手势交互系统设计

作     者：孟杰 杨鹏程 杨朝 李小成 Meng Jie;Yang Pengcheng;Yang Zhao;Li Xiaocheng

作者机构：西安工程大学机电工程学院西安710048 

出 版 物：《国外电子测量技术》 (Foreign Electronic Measurement Technology)

年 卷 期：2023年第42卷第3期

页      面：116-122页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：陕西省自然科学基础研究计划面上项目(2022JM-219)资助 

主　　题：幻影成像 人机交互 手势识别 Mediapipe 非极大值抑制算法 

摘      要：针对博物馆中幻影成像虚拟展示装置的交互需求,设计了一种自然手势的计算机视觉交互系统。利用单目相机对自然手势进行动作采集,针对不同身高人群手部活动范围,计算了单目相机最优捕获位置,实现了140~190 cm人群高度的手势识别。采用Mediapipe机器学习框架对捕获的手势图像实时遍历,获得单帧手掌的标定位置。结合21个特征关节点的手掌模型,使用非极大值抑制算法对自遮挡的手掌进行识别,根据欧氏空间距离判别阈值和单个手指曲率对指间动作做出分类,定义幻影成像常用5种交互动作,通过坐标关系建立了指尖和模型特征点之间的实时映射。实验结果表明,所设计的交互系统,系统识别准确率达到98%,满足幻影成像系统中手势控制虚拟模型的要求。