基于场景建模的室内智能视频监控系统

作     者：黄金 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：谢雪梅

授予年度：2023年

学科分类：0810[工学-信息与通信工程] 08[工学] 081001[工学-通信与信息系统] 

主      题：智能视频监控 单视图场景建模 行为识别 图卷积网络 

摘      要：智能视频监控是计算机视觉领域新兴的研究方向,被广泛应用于安防和居家看护等领域。监控画面图形虚拟和监控人员行为识别在室内智能视频监控中具有重要研究意义。现有的室内智能视频监控系统大多没有关注监控对象的个人隐私问题。本文根据视频监控系统的监控视角固定和监控相机参数可获取等特点,采用单视图场景建模和人体行为识别技术,构建了兼顾用户个人隐私保护和异常行为报警提醒的室内智能视频监控系统。具体来说,本文的主要工作包含以下三个方面: (1)基于物体CAD模型的单视图场景建模方法。由于缺乏深度信息,导致从单张图像恢复场景的三维模型面临很多困难和挑战。现有方法大多采用端到端网格重建的方式恢复场景三维模型,通常会存在网格重建结果视觉效果差和重建物体不完整等问题。本文针对上述问题,提出了一种基于物体CAD模型先验库进行场景建模的解决方案。通过提出的模型检索、跨域2D-3D对应关系生成和场景布局估计等方法,可以从单张静态监控场景图像中构建完整美观且具有语义一致性的场景模型。在相关公开数据集以及真实室内监控场景图像上进行场景建模实验,建模结果表明了本文方法的有效性。本文方法的多类别物体平均倒角距离误差为4.88mm,比现有方法的倒角距离误差评估结果最优值低4.3%,说明本文方法的建模精度较现有方法有所提升。 (2)场景图辅助推理的人体行为识别算法。近年来基于人体骨架的行为识别方法在公开数据集上具有很好的精度表现。但是在实际室内监控场景中,该类方法很难区分躺和摔倒这两类在骨架上容易混淆的行为。本文针对该问题,结合单视图场景建模结果和人体骨架信息构建了用于辅助人体行为识别算法推理的场景图,通过空域图卷积网络提取场景图的特征,然后和人体骨架图特征进行融合后再进行行为分类。在本文针对室内监控场景构建的数据集上进行的相关实验表明,本文提出的场景信息辅助人体行为识别算法的新框架,增强了基于骨架的行为识别算法对于易混淆行为的判别能力,同时场景信息的融合明显提升了原有行为识别网络的场景泛化能力。 (3)室内智能视频监控系统的构建与算法部署测试。为了验证本文算法研究的可行性,本文以提出的单视图场景建模和人体行为识别算法为基础,构建了室内智能视频监控系统并进行了算法运行测试。系统测试结果表明本文构建的系统在不涉及用户隐私安全问题的情况下能从语义层次将监控场景在远程监控端重构出来,同时对于摔倒这类异常事件能进行报警提醒处理,摔倒事件检测准确率达到了98.0%,事件报警提醒的平均上报时延为2.3秒,说明系统能达到隐私保护和室内智能看护的目的。