基于压缩感知与深度学习的前后背景分割技术研究

作     者：丁光辉 

作者单位：河南大学 

学位级别：硕士

导师姓名：马骏;李峰

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：前后背景分割 感知矩阵 多域特征融合 压缩感知 深度学习 

摘      要：前后背景分割技术是计算机视觉领域中重要的研究方向之一,该技术逐渐成为计算机应用领域中提供准确目标类别、位置信息的一项重要技术。当前,很多前后背景分割技术均是完全基于软件实现的,但是在实际应用中,面对海量的高清数据,必然存在着数据量大、传输时间久、计算资源消耗大等问题。虽然通过对图像直接进行下采样可以降低数据量,但是下采样会导致图像细节特征信息严重丢失,从而导致分割精度降低。如何将软件与硬件相结合,在有效降低数据量、减少计算资源消耗的同时保持高分割精度成为前后背景分割技术所面临的难题。针对以上问题,本文进行了如下研究。（1）提出一种多域压缩数据高效获取方法,以解决面对海量高清数据存在的数据量大、传输时间久,计算资源消耗大的问题。该方法结合成像探测器内部的成像特性,运用压缩感知原理,将图像信息稀疏表示,然后进行采样得到原始图像在空域和压缩感知域两个不同变换域的压缩数据。该过程中使用的新型感知矩阵包含两个子矩阵,分别对应成像探测器内部的Binning下采样模块与压缩感知模块,其中Binning下采样模块获取得到空域缩略图,压缩感知模块获取得到压缩感知域观测值。相对于传统的压缩感知方法,该方法在获取压缩感知域的观测值同时获取了空域的缩略图,具有包含图像空域特征信息的优势,并且成像探测器内部不再需要额外的图像重构模块,可进一步提升成像探测器内部的空间利用率。相对于图像下采样技术,该方法获取了保留全图信息的压缩感知域观测值,具有避免图像细节特征丢失的优势。通过实验验证分析,本文所提出的多域压缩数据高效获取具有数据获取效率高,占用存储空间小,包含特征信息丰富的优势,为下一步基于多域特征融合的前后背景分割方法提供了有力的支撑。（2）提出一种基于多域特征融合的前后背景分割方法,以解决基于深度学习的前后背景分割研究在面临压缩数据时,因学习特征域单一而造成的分割精准度提升难的问题。使用硬件上获取的原始图像在两个不同变换域的压缩数据分别作为多域特征融合前后背景分割网络的两个输入,在深度学习中,借鉴模态融合的思想,把两个不同的变换域近似看作两个不同的模态,分别对两个不同变换域的压缩数据进行特征提取,采用决策级特征融合方式,融合空域和压缩感知域两种不同变换域的特征,对融合的特征进行前后背景分割。相对于以原始图像数据作为输入的前后背景分割网络,该方法因使用了两个不同变换域的压缩数据而具有数据量小、效率高的优势;相对于仅以缩略图数据作为输入的前后背景分割网络,该方法因融合了两个不同变换域的特征而包含更丰富的特征信息,具有分割准确度高的优势。通过实验验证分析,本文所提出的基于多域特征融合的前后背景分割网络优于传统的前后背景分割网络,在保持较高分割精度的同时,又保持了较高的分割效率,该方法为下一步在项目中的应用提供了有力的支撑。（3）将本文所研究内容应用于《XX数据高速高保真压缩与重构方法研究》项目中。多域压缩数据高效获取,用在了该项目中硬件部分,在FPGA硬件开发板上进行实现;基于多域特征融合的前后背景分割技术,用在了该项目中的软件部分,在上位机软件上进行实现。软件与硬件之间通过UDP协议实现数据的传输。通过软件与硬件相结合的方式实现了对多域压缩数据直接进行高精度的前后背景分割,在保持分割精度的同时提升了分割效率。