基于深度学习的考场作弊行为分析与研究

作     者：贺斌 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：许林峰

授予年度：2021年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：行为识别 考场场景 运动表征 运动特征增强 长时时序建模 

摘      要：近年来,标准化考场的建设获得了广泛的关注。如何将人工智能技术引入标准化考场当中具有非常重要的实际意义。当前,依靠人工查看考场监控视频与监考官现场记录作弊行为相结合的监考方式人力成本巨大,且极其容易发生遗漏的情况。本文针对考试场景中可能出现的各种作弊行为,研究了基于深度学习的考场作弊行为识别方法,构建考场作弊行为数据集,结合边缘位移提取、运动特征增强与长时时序建模,解决考试场景下作弊行为识别问题。本文主要研究内容如下:1.本文构建了考场作弊行为数据集。在分析考场中可能存在的作弊行为后,确定了本文数据集中所包含的12种作弊行为。该数据集中包含有25名学生在考场环境中的不同位置所模拟的作弊行为。本文构建的考场作弊行为数据集为后续算法研究奠定了基础。2.本文研究了基于边缘位移的行为识别算法。本文构建了一个边缘位移学习模块,通过堆叠的基础卷积块对输入帧提取特征,并对相邻帧的特征谱执行逐像素相减来获得含有丰富运动信息的差异特征谱,将差异特征谱在通道上融合便能获取到表示运动物体边界位移的运动表征图,此图可替代光流为网络提供运动表征信息,边缘位移学习模块在保证识别精度的同时又降低了模型的运行时间。3.本文研究了基于运动特征增强的行为识别方法。模型采用二维卷积网络对输入图像流进行特征提取,为了高效利用特征谱中运动目标相关特征,本文通过对相邻帧的特征谱执行逐像素相减操作并进行非线性变换等操作获得通道的注意力权重,此权重可与原始特征谱执行逐通道相乘操作来提高运动相关特征在特征谱中的比重。并通过逐通道卷积的方式实现短时时序建模,提升了行为识别的准确率。4.本文研究了基于多尺度时序特征融合的行为识别算法。针对随着网络深度增加而出现的时域间隔较大的帧之间有效信息传输衰减问题,本文对具有同样空间尺寸但有不同时域感受野的特征谱在时序上融合,有效地对局部行为实现进一步建模,并通过对预测向量构建时序金字塔来完善模型长时时序建模的能力,提升了模型对持续时间较长的行为的识别准确率。