基于多模态融合的三维模型检索和分类算法研究

作     者：王一心 

作者单位：天津大学 

学位级别：硕士

导师姓名：张静

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：三维模型检索 多模态 模态融合 深度学习 

摘      要：近年来,三维模型分类和检索任务已成为多媒体领域和计算机视觉领域中的一项研究热点。随着深度学习技术的蓬勃发展,各种高性能的深度学习模型被提出并广泛使用。这些深度学习模型关注于不同的三维模型表示形式,例如点云、多视图、全景视图等等,均表现出了卓越的性能。但是,这些方法都忽略了一个重要的信息,即相同的三维模型在不同的模态表示场景下的多模态信息。本文提出了一种创新性的多模态融合网络来解决三维模型数据的分类及检索问题,该网络充分利用不同模态间的相关性来提升模型标准的鲁棒性,进而得到更精确的模型检索结果。需要特别指出的是,本文创新性地提出了关联损失函数和实例损失函数。其中关联损失函数利用模型间语义的一致性,在训练中互相指导优化,提升信息融合的完整度;实例损失函数则关注于模态自身的特性,在训练中保留模态本身所特有的信息,进而提升模型融合信息的区分度,两者互为依存,互相验证,共同提升模型标准的鲁棒性,确保分类和检索结果的准确性。本文还利用Elastic Search、Hadoop、g RPC等技术构建了一套高效的三维模型检索系统,该系统可实现海量三维模型数据存储、可承载大量并发检索请求,并且单次检索耗时也可控制在秒级左右。本文还对外提供了一个交互体验良好的用户界面,具有极高的实用价值。为了验证本文提出的方法,本文还在Model Net40和Shape Net Core55等数据集上进行了大量的实验,包括关联损失函数和实例损失函数有效性验证实验、各个模态组合对比实验、多模态信息融合权重对比实验、与当前主流算法的性能对比实验等。最终的实验结果证明了本文方法的正确性与有效性。