基于深度学习的海面漂浮垃圾检测研究及应用

作     者：韦波 

作者单位：上海海洋大学 

学位级别：硕士

导师姓名：戴阳

授予年度：2023年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：海面漂浮垃圾 深度学习 卷积神经网络 MobileNetV3网络 K-mean++ HEOP 边缘计算 

摘      要：随着我国沿海工业的持续发展以及海洋开发的不断深入,海面漂浮垃圾(Sea surface floating garbage)污染已经成为我国亟急需解决一个难题。海面漂浮垃圾不仅造成视觉污染,影响沿海旅游业,还可能破坏区域生态链。近年来,基于AI视频处理的人工智能技术在医疗、遥感等领域得到了广泛应用,但利用视频监控实时识别海面漂浮垃圾的研究仍然较少。利用智能摄像头监测海面漂浮垃圾,可以实时掌握目标海域海面漂浮垃圾污染状况,为科学治理目标海域的垃圾污染提供支持。基于此,本文提出基于深度学习的海面漂浮垃圾检测及其应用的方法,该方法使用在不同地区拍摄的海面漂浮垃圾数据集,结合海康HEOP(Hikvision Embeded Open Platform,海康嵌入式开放平台)智能摄像头开展对海面漂浮垃圾的自动识别与分类等研究,并对所检测到海面漂浮垃圾进行数量统计,此外还提出了计算海面漂浮垃圾大小的方法,研究结果可以对我国的海面漂浮垃圾治理提供一定的参考。本文主要完成的工作如下:(1)计3D-CNN模型判断目标海域是否存在漂浮垃圾。对2021年5月-2022年8月之间不同地区拍摄的视频数据进行人工标注,分别以0、1表示无目标与有目标,对全部做好标注的视频数据进行分类,最终获得432段视频,其中背景单一的视频1678段。设计3D卷积神经网络模型,其中包括9个Conv3d层,8个Batch Norm3d层,10个PRe LU层,1个FC层以及1个Batch Norm1d层。将做好标注的单一背景数据集与复杂背景数据集分别放入模型中进行训练,并使用未参与训练的数据对模型性能进行测试。最终实验结果表明:在训练集上,单一背景下模型的Precision、Recall与F1值分别为98.88%、99.13%与98.88%,而复杂背景下模型的Precision、Recall与F1值分别为96.2%、95%与95.2%;在测试集上,模型的三个评价指标在单一背景与复杂背景下的值也均在98%与94%以上。说明本文所设计的3D-CNN模型具有较高的判断准确率,可以进行实际应用。(2)利用2D-CNN模型检测海面漂浮垃圾的类别与位置,计算垃圾的数量与大小。对2021年5月-2022年8月之间于不同地区拍摄的图片进行数据标注,分为“Driftwood、“platic与“other三类。接着对YOLOV4模型进行优化,将原始特征提取网络修改为Mobile Net V3网络;并在Mobile Net V3网络第八层中加入SENet,将第三与第五层的Re LU修改为HS激活函数,以提高模型对目标区域的敏感度,同时避免Re LU激活函数出现的神经元死亡问题;最后利用Kmean++算法优化YOLOV4模型的先验框。最终结果表明,与传统two-stage模型以及同系列的YOLO模型相比,优化后的m AP值高达91.75%,是所有对比模型中最高,且实际检测效果也是所有模型中最优;此外,为探究加入后各个模块对优化后模型的影响,设计了消融实验分别计算加入各个模块后模型参数量与计算量的变化。同时,结合模型检测出的目标类别与位置,分别设计一种判断视频前后两帧所检测到目标是否为同一目标的方法与计算目标物体大小的方法,在视频前后两帧所检测到目标类别相同的情况下,通过计算前后两帧所检测到目标物体的面积之比、重合度大小、色差大小判断是否为同一物体,从而计算一段时间内所检测到目标的数量;计算目标物体大小的方法为根据海天线与摄像头所成夹角以及相机距离水面的距离,运用几何方法计算出所检测目标物体的大小。(3)利用HEOP完成对深度学习模型的实际应用,借助HIKFlow平台将训练好的深度学习模型转化为二进制bin文件,接着利用对转化好的bin文件再次通过HIKFlow平台完成推理库Demo文件的编写,最后利用HIKFlow平台的打包功能完成对深度学习模型的app转化并嵌入HEOP智能摄像头中。最终实地测试结果表明,将训练好的深度学习模型嵌入HEOP智能摄像头中能够准确检测出目标区域的漂浮垃圾。本研究的创新点主要体现在以下三点:(1)提出了3D-CNN模型,利用该模型判断目标区域是否存在漂浮垃圾,可以为相关工作人员提供较为准确的判断结果。确定有目标后用2D-CNN模型检测目标的类别与位置,减少海面浪花、光影等对2D-CNN模型检测的干扰。(2)对原始YOLOV4模型进行优化,使模型对漂浮垃圾检测的m AP值高达91.75%;同时还设计了计算检测区域目标数量的方法与计算目标大小的方法。为准确了解检测海域垃圾污染情况提供较多的参考信息。(3)借助HIKFlow平台将所训练的深度学习模型嵌入到海康HEOP智能摄像头中进行实际应用,实现数据的边缘计算,直接传回检测到目标的类别与位置等文本信息,避免了海上通信昂贵而传统摄像头直接传回图像导致的通讯费用较大的问题。