基于视频的老年人异常行为检测系统

作     者：蔡敏雅 

作者单位：杭州电子科技大学 

学位级别：硕士

导师姓名：秦会斌

授予年度：2023年

学科分类：0303[法学-社会学] 12[管理学] 1204[管理学-公共管理] 03[法学] 08[工学] 080203[工学-机械设计及理论] 030301[法学-社会学] 0802[工学-机械工程] 

主      题：老年人 异常行为检测 跌倒检测 YOLO 模糊逻辑 Lightweight OpenPose 

摘      要：针对养老问题,智能视频监控系统实现了室内独居老人的日常监护,然而目前的视频监控系统对老年人异常行为的检测大多只包含跌倒,本文设计了包含跌倒、颈部异常状态和长时间静止多个异常行为的检测系统,具有完整的系统结构,完善了异常行为检测体系。本系统由数据采集部分、行为分析部分和远程报警部分组成。数据采集部分由嵌入式设备将多个摄像头采集到的图像信息传输至行为分析部分;行为分析部分由本地实验设备实现多个异常行为的检测;远程报警部分通过窄带物联网(Narrow Band Internet of Things,NB-Io T)技术将发生的异常行为发送至云平台。系统包含单间单摄像头、单间多摄像头、多间单摄像头和多间多摄像头四种模式,满足不同需求。跌倒检测通过YOLOv5s目标检测模型检测出人体边界框,设计了新的基于扩展卡尔曼滤波的目标跟踪器来解决YOLOv5s对于特殊形态人体无法检测的问题,提取人体边界框的特征放入设计的模糊逻辑系统中,分析正常行为下模糊逻辑系统输出值的变化曲线,将阈值设置为0.67,超过该阈值即判定为跌倒。颈部异常状态检测包括低头状态和颈部倾斜状态检检测,加入Lightweight Open Pose人体姿态估计模型提取人体的骨架信息。低头状态指标用向量之间的比值关系来表示。为了减小直接检测带来的误差,提出了新的颈部倾斜状态检测方法,通过相机标定、欧拉角计算等方法判断出人体朝向,对图像进行仿射变换后计算脖子与肩膀的角度。长时间静止检测设计了方向梯度直方图(Histogram of Orientation Gradient,HOG)静止检测和帧间差分法静止检测,HOG静止检测流程包括预处理、HOG值计算和静止指标计算,帧间差分法静止检测包括差分图像获取、阈值处理、形态学处理等,验证了这两种方法对静止检测的可行性。对系统的各个异常行为测试结果表明:跌倒检测的准确率为94.53%;低头状态检测在面向摄像头时准确率为100%,面向摄像头旋转角度越大,准确率越低,且距离对低头状态指标的影响较小;颈部倾斜状态在人体面向摄像头向右旋转20°的情况下,经过处理后的脖子与肩膀之间的角度相对误差绝对值的平均值减少了11.38%;长时间静止检测中帧间差分法静止检测在效果和实时性上都优于HOG静止检测。最后,对系统的各个模式进行测试,展示了各模式下的检测结果和云平台上的显示效果。