无人零售环境下的深度学习商品检测研究

作     者：周诺亚 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：王兴刚

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：新零售 智能货柜 深度学习 目标检测 

摘      要：线上电商在互联网和物流的普及下高速发展。然而经历了一段时间的高速发展后,传统电商近年来面临线上增长乏力等问题,已经进入瓶颈期,不得不在阿里巴巴提出的“新零售背景下进行线上电商与线下销售结合的尝试,寻求突破。智能货柜是各大电商看好的发展方向,在尝试使用了非视觉解决方案后,随着深度神经网络在计算机视觉领域的重大突破,基于深度神经网络的视觉解决方案成为了智能货柜解决方案的研究重点。本文围绕智能货柜的静态视觉解决方案做了一定研究。主要工作如下:(1)对市面上最常用的静态视觉解决方案——利用基于深度神经网络的目标检测模型对货柜进行全监督商品检测的方法——进行了实验与分析。本文分别用目标检测性能最好的双步目标检测算法Faster R-CNN和单步目标检测算法YOLOv3在自己收集的真实货柜场景数据集上进行实验,并用自己提出的针对智能货柜商品检测准确性的评价方法对实验结果进行评估。实验中发现了这种方法虽然能通过对消费前后的两个时刻的货柜内商品进行完整检测来完成高精度的自动盘点、自动结算等功能,但是存在标注成本高、更新成本高、部署成本高等问题。(2)针对以上实验发现的问题,本文提出了一个新颖的成对图片差异检测算法DiffNet,该算法将孪生网络相似性度量学习的特性与目标检测算法相结合,对消费者消费前后两个时刻货柜内图像进行直接的差异检测,找到有差异的商品所在的位置,之后用一个商品分类模型对差异商品进行类型识别,即可完成智能货柜的自动结算等功能。以DiffNet为核心的智能货柜静态解决方案只用标注一对商品的差异位置包围框,标注成本远低于全监督目标检测;产品上新后只用更新分类模型,更新成本低;DiffNet和商品分类模型的部署对硬件要求比全监督目标检测低,部署成本低,且算法准确度与全监督目标检测方法相近,有较强的实际应用意义。总结来讲,论文针对无人零售环境下的商品检测问题首先实践了目前计算机视觉中的主流解决方案,然后主要针对其应用中标注成本高的问题,提出了一种新颖的差异识别深度神经网络,并取得了更加理想的应用效果。