基于时频域分析的监控视频关键帧提取研究

作     者：张嘉煜 

作者单位：石家庄铁道大学 

学位级别：硕士

导师姓名：张云佐;陈宏彩

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：关键帧提取 关键帧评价准则 分数傅里叶变换 四元数傅里叶变换 轮廓波变换 

摘      要：近年来,随着人民生活水平的不断提高以及安全防范意识不断增强,监控视频系统的普及成为大势所趋。在视频监控领域,海量监控设备不分昼夜持续工作使得视频数据量急剧增长。在海量监控数据中快速、准确地识别并提取出包含有重要内容的关键帧成为当前研究热点。现有的关键帧提取算法虽然在全局状态提取上取得了巨大的成功,但是对局部细节的把握还不到位,存在着图像信息完整性被破坏、对光照信息敏感的问题。为此,本文打破常规思路,从时频域角度出发针对现存问题展开一系列技术研究,取得的创新性研究成果以及完成的主要工作如下:(1)提出了一种基于分数傅里叶变换的监控视频关键帧提取方法。针对现有技术中存在的目标细节提取不到位、局部动作判断不准确的问题,提出了基于分数傅里叶变换的监控视频关键帧提取方法。首先,设计了基于黄金分割点的阶次选择算法选择变换阶次,并在该阶次下进行分数傅里叶变换得到相位谱;其次,利用相邻两帧相位谱的均方误差构建了目标运动状态改变的特征表现形式,形成了均方误差曲线;最后,检测特征表达曲线的局部极大值点并据此提取关键帧。公开数据集上的实验结果验证了本方法在提取局部细节信息上的优良性能。(2)提出了一种基于四元数傅里叶变换的多特征融合监控视频关键帧提取方法。针对现有技术中图像多通道信息未被充分利用从而导致细节信息提取不到位的问题,提出了一种基于四元数傅里叶变换的多特征融合监控视频关键帧提取方法。首先分别提取出图像的运动特征以及表征RGB多通道信息的亮度特征、红/绿神经元特征、黄/蓝神经元特征;其次,利用四元矩阵对所提四种特征进行四元数傅里叶变换得到融合相位谱;然后,通过高斯滤波对包含有图像整体结构信息的融合相位谱进行过滤,并对其进行四元数傅里叶反变换得到融合特征图;最后,基于融合特征图相邻帧之间的平均差异构建了一个自适应关键帧筛选准则,以便于精确提取关键帧。实验结果表明,所提方法的平均精确率、平均召回率和平均F1分数均高于90%,明显优于对比方法。(3)提出了一种基于轮廓波变换的监控视频关键帧提取方法。针对当前方法对光照敏感、对目标方向细节信息提取不到位的问题,提出了基于轮廓波变换的监控视频关键帧提取方法。首先利用轮廓波变换对视频序列进行多尺度和多方向分解,得到含有丰富方向信息及轮廓信息的图像;然后,提出一个非下采样方向滤波器组合,通过过滤不同方向特征并对其进行融合进而得到非光敏性轮廓特征图;其次,使用非线性增强函数构建出一个纹理增强模型,用于强化图像边缘信息,增强目标轮廓对比度;最后,基于结构相似性构建关键帧筛选模型用于关键帧的精确提取。实验结果表明,所提方法面对光照条件突变类视频的F1分数高达96%,且方法不受光照条件变化等因素的影响。(4)提出了一种面向目标重构轨迹的关键帧提取技术评价准则。为了解决现有关键帧评估准则无法做到在符合人眼视觉感知的前提下还能对不同的关键帧提取算法进行定量分析的问题,本文提出了一种基于保存目标的全局和局部运动信息并再现目标运动状态的评估准则,即目标轨迹重构度。首先,利用不同方法提取出的关键帧重构目标的运动轨迹以达到复现其运动状态的目的;同时,构建了一个定量分析模型对目标原始轨迹和重构轨迹的相似性进行量化,以评估关键帧提取技术的性能。实验结果显示,目标轨迹重构度准则可以准确描述监控视频中运动的全局和局部变化,更加符合人眼视觉感知,验证了所提方法的正确性以及目标轨迹重构度准则在评估面向目标重构轨迹的关键帧提取方法中的正确性及有效性。