基于声音信号与机器学习的物体识别技术

作     者：靳少卫 

作者单位：河北工业大学 

学位级别：硕士

导师姓名：王博文

授予年度：2020年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：声音数据 容器内物体识别 分类 核k最近邻 开放环境 迁移学习 

摘      要：为了让智能机器人更好地理解和适应复杂的环境,并完成复杂的任务,首要任务是让其对自身和周围环境进行感知和识别。现有的物体识别技术大多关注视觉感知和触觉感知,忽略了听觉感知,事实上采用声音数据可以进行容器内的物体识别。在机器学习中假设训练样本集和测试样本集具有相同类别,即在封闭的环境内进行物体识别。但智能机器人不断与外界接触,感知到的物体类别是在动态增加的,同时感知的数据量也在增加。智能机器人如何在开放环境(训练集和测试集类别不同,测试集类别比训练集类别多)下对物体进行识别是至关重要的。而且由于不同时间、不同的动作方式采集的声音数据存在分布差异性,如何解决数据分布差异性,减少数据采集成本,完成物体识别也同样重要。所以本文用监督式机器学习验证不同动作方式采集的听觉信息(声音信息)在容器内物体识别的优势,提出了开放环境下核k最近邻算法框架(Open Set Kernel k Nearest Neighbor,OSKk NN),并寻找适用于本文的迁移学习方法,用于解决声音数据分布差异的问题,并完成物体识别。本文的容器内物体识别过程包括声音采集系统的搭建、采集声音数据、声音数据的预处理、声音特征的提取、建立声音数据集、基于不同机器学习进行物体识别。以UR5机器人为核心,并为其配置AG-95机械手,在AG-95机械手上配置电容式麦克风,采用联想G480笔记本电脑运行Matlab程序作为声音采集保存装置搭建了声音采集系统。通过UR5机器人示教器的Poly Scope用户界面控制UR5机器人自动完成不同的动作方式,采集机械手、容器和容器内物体相互作用的声音数据,并预处理声音数据,最后提取声音的梅尔倒谱系数特征(MFCC)作为物体识别的数据集。通过支持向量机(SVM)、稀疏表示分类(SRC)、k最近邻(k NN)、核k最近邻(Kk NN)四种监督式机器学习算法在不同动作采集的声音数据上进行实验,对比识别准确率;也对比了四种不同动作方式,验证了水平旋转180度的动作方式更加适合UR5机器人采集声音数据,也证明了在小幅度动作时,接触的过程越长,采集的声音信息越多,越容易识别出容器内的物体。表明利用主动动作采集的声音信息并结合核k最近邻算法,可以很好地识别出容器内的物体,证明主动动作采集的声音在容器内物体识别上有很好的优势。基于Kk NN算法设定阈值T提出了开放环境下核k最近邻算法(Open Set Kernel k Nearest Neighbor,OSKk NN)的框架,并对比了开集稀疏表示分类(Open Set Sparse Representation Classification,OSSRC)算法,证明了采用OSKk NN算法分离已知类别和未知类别效果较好,并且可以很好地对已知类别进行分类识别,只有分离出未知类别的样本数据,才能更好地收集这些数据并为继续学习这些未知类别做准备。通过实验验证了OSKk NN算法框架可以解决本文利用声音在开放环境下识别容器内的物体。通过大量实验,对比12种迁移学习方法和k NN算法后,寻找到度量迁移学习框架(MTLF–Metric Transfer Learning Framework)可以解决本文由于动作方式不同和采集时间不同造成声音数据分布差异的问题,验证了MTLF结合k NN算法对容器内的物体具有较好的识别效果。