体育运动视频中的人体行为识别研究与系统实现

作     者：侯林凯 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：夏海轮

授予年度：2023年

学科分类：050302[文学-传播学] 0403[教育学-体育学] 04[教育学] 05[文学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0503[文学-新闻传播学] 

主      题：人体行为识别 时空动作检测 时空注意力 智慧体育 

摘      要：随着社会与科学技术的发展,视频已成为当今社会中信息传播的重要媒介,对视频内容的智能分析也成为科研领域中的热门课题。人体行为识别是视频内容理解中的重要研究内容之一,而由于体育运动技术动作的确定性与规范性,同时体育动作的细粒度分类与运动员的快速复杂运动使得其识别更具挑战性,因此体育运动视频中的技术动作识别受到更多关注。在现今体育运动领域中,人工智能赋能体育运动已成为主要发展趋势,基于视频数据对体育运动进行智能分析有着巨大的发展潜力。本论文着眼于体育运动场景,首先对基于视频数据的人体行为识别任务进行深入研究,然后在算法研究基础之上设计并实现了智慧体育运动分析系统。在人体行为识别的算法研究中,针对体育运动场景中人体目标变化大、技术动作复杂多变等挑战,本文提出了一种基于多尺度分离时空注意力机制的时空动作检测方法。该方法通过注意力机制在编码器-解码器的网络架构中渐进地提取并融合时空多尺度特征,能够有效应对体育运动场景中动作识别的挑战,并可进行端到端的训练与推理。同时,时空注意力在时间与空间维度上的分离设计,以及多尺度的编码器解码器结构,均能够有效地降低注意力机制在时空维度下的计算复杂度。在公开数据集上的实验结果也验证了本文所提出算法模型的有效性与优越性。基于体育运动中人体行为识别算法的研究基础,本文设计并实现了一种基于计算机视觉的智慧体育运动分析系统,综合运用多种深度学习算法体育运动视频进行智能分析。系统在前端设计了 Web界面以直观可视化展示视频分析结果,后端则负责请求响应、任务分发、算法调度与数据读写等逻辑功能。对于算法模型与功能,本系统运用虚拟化与微服务技术将其服务化,并构建算法服务中心,通过服务注册与服务发现实现便捷的算法服务调用。通过不同算法功能模块间的灵活搭配,本系统可容易地拓展到多种体育运动场景,以及智慧体育课堂、智能健身娱乐等其他领域中。