基于视频动作识别的数字皮影动作交互系统设计

作     者：冯少辉 FENG Shaohui

作者机构：西安思源学院西安710038 

出 版 物：《自动化与仪器仪表》 (Automation & Instrumentation)

年 卷 期：2023年第3期

页      面：218-222页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：西北非物质文化遗产科技项目(2021KB56JS2) 

主　　题：视频动作识别 数字化 皮影 关键点跟踪 交互系统 

摘      要：针对传统皮影操纵过程中动作跟踪识别精度低,导致皮影角色动作交互效果差的问题,提出设计一个基于视频动作识别的数字皮影动作交互系统。此系统以增强现实设备为硬件载体,在深度模型的基础上,引入一维卷积和动态卷积,获得木棒关键点跟踪算法,以快速捕捉操纵木棒位置;然后在系统中加入HoloLens,采用皮影操纵交互方式使用户可以手持真实木棒,在增强现实环境中操纵虚拟的皮影角色。实验结果表明,在对皮影视频动作的跟踪识别验证中,本算法的动作识别MLOU取值为93%,均高于传统的Mask R-CNN、FCIS、PANet、Deep Snake关键点跟踪算法,且本算法进行皮影动作跟踪的所用时间仅为19.8 ms,均低于另外四种算法。由此可知,本算法可在短时间内快速准确地进行皮影动作识别和跟踪。将此算法应用到皮影交互系统中可提升系统的数字化和交互效果,增强了用户的皮影交互体验感。