基于特征融合的三维点云数据检索模型与原型系统研究

作     者：顾砾 

作者单位：苏州大学 

学位级别：硕士

导师姓名：刘纯平

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：三维点云分类 三维模型检索 特征提取 特征融合 深度学习 

摘      要：物体识别是计算机视觉的一个重要研究领域。在过去的几十年里,2D物体识别已被广泛研究,成为一个相对成熟的领域。相比于2D图像,3D数据在物体识别任务上具有更多的优势,能更好地还原物体的形状结构并提供更多的几何信息,这使得三维物体识别在近年来成为一大研究热点。点云数据作为最典型也是最接近原始采集数据的一种三维表示方式,拥有广泛的运用前景。近年来3D扫描设备的快速发展使点云数据更加容易获取,三维点云逐渐成为一个研究热点。本文针对三维点云的分类和检索任务进行了深入研究,并在研究基础上设计与实现了原型系统。本文主要研究工作如下:(1)提出了基于多特征融合的三维点云分类方法:针对点云数据自身信息量不足的问题,从图像中引入信息作为补充。将通过点云特征提取模块获得的点云特征以及通过图像特征提取模块获得的图像特征,在分类层上进行加权线性融合,以提高模型的分类性能。在ModelNet40上的实验表明,融合后特征的表达能力有很大提升,模型整体分类准确率高达96.4%,超过了同期其他方法。(2)提出了基于多特征融合的三维模型检索方法:将分类方法中提出的特征融合方法扩展运用至三维模型检索任务中。分别提取输入模型的点云和图像特征并进行加权线性融合,通过L1和L2距离计算相似度。实验表明融合方法在检索任务中同样有效,其中加权线性融合在大规模模型库上表现最佳,P@10最高可达0.966。(3)设计并实现了三维模型检索原型系统:以上述研究为基础,结合实际需求,基于Python 3.6和WPF开发了三维模型分类及检索原型系统。针对深度学习模型迁移平台困难的问题,选择了客户机/服务器风格设计系统。系统分为客户端和服务端两部分,之间通过基于websocket实现的自定义远程过程调用框架进行数据传输。系统主要功能包括模型文件可视化、点云采样、投影图截取、模型分类、模型检索等。综上,通过点云和图像特征的融合,一定程度上弥补了点云本身信息量偏少的问题,融合特征在分类任务和检索任务上均拥有较好表现。同时,基于特征融合模型设计开发了原型系统,表明本文研究具有一定的实用性。