先验视觉特征引导的多模态融合矿物浮选工况识别研究

作     者：刘浪 

作者单位：湖南理工学院 

学位级别：硕士

导师姓名：胡文静

授予年度：2023年

学科分类：0819[工学-矿业工程] 081902[工学-矿物加工工程] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：多模态融合 图像特征提取 浮选工况识别 泡沫图像 

摘      要：随着国民经济的快速发展,我国对各种矿物的需求不断增加。泡沫浮选作为一种重要的矿石处理和加工技术,广泛应用于有色金属矿石的选矿。然而,我国的浮选生产自动化水平相对较低,人工判别的主观性和低效率使得浮选过程难以稳定在最优运行状态,导致矿物回收率降低,生产成本增高。因此,准确识别浮选工况对优化浮选工艺具有重要意义。浮选过程中,泡沫表观特征与浮选工况密切相关。本文通过工业相机采集高质量的彩色泡沫图像,同时用深度相机采集深度图像形成互补的多模态数据,结合多模态融合方法实现矿物浮选工况识别研究,主要研究内容如下:(1)考虑到工业相机仅能采集彩色图,而深度相机采集的彩色图质量一般的不足,我们使用工业相机采集彩色图,深度相机采集深度图,通过预处理构建时序对齐、视场重合的泡沫彩色图和深度图序列数据集。(2)泡沫视觉特征与浮选工况紧密相关,浮选操作人员通常依靠视觉特征来判断浮选工况。为此,针对所构建泡沫彩色和深度图像序列数据集,提取了泡沫的动态破碎率特征和泡沫大小、纹理等静态泡沫图像特征,同时分析了上述视觉特征与浮选工况的相关性,为有效的先验视觉特征引导基于多模态的浮选工况识别方法奠定了基础。(3)针对单模态信息单一、片面的局限性,提出了基于先验视觉特征引导的多模态工况识别方法。通过双分支特征提取器提取彩色图模态和深度图模态特征,设计了一个先验视觉特征引导模块来引导出对工况识别重要的多模态特征,最后对引导后的多模态特征融合并进行工况识别,实验结果表明,本文提出的浮选工况识别方法能学习到互补的多模态特征,有效提高识别准确率。本文针对浮选泡沫彩色图仅蕴含浮选泡沫的彩色信息,缺少与浮选相关的深度信息,提出一种先验视觉特征引导的多模态融合浮选工况识别方法。提取互补的多模态特征,并通过与工况相关的先验视觉特征引导多模态特征表示,提升了基于多模态融合的工况识别性能。通过实验证明了上述方法的可靠性和有效性,为多模态融合在浮选工况识别的研究提供了新的研究思路。