基于ARM的双光融合与图像识别系统研究

作     者：赵琳通 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：吕坚

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：红外与微光 嵌入式 色彩传递 双光融合 目标识别 

摘      要：针对传统单一传感器系统光谱范围窄、探测能力受限的问题,本文开展基于ARM的双光融合与图像识别系统研究,通过综合红外探测系统、微光探测系统及嵌入式处理板卡于一体,突破多源传感器信息融合技术与红外图像目标识别技术,实现双光系统的小型化、低功耗设计。本文设计的双光系统基于单兵夜视头盔,可有效增强单兵作战能力,把握战场态势,同时在安防、消防、医疗等领域具备可拓展性应用价值。本文主要从系统整体架构设计、软硬件设计及算法原理等方面分别进行详细介绍,并完成系统样机研制、功能算法实现和性能测试等相关工作。首先对双光系统的整体架构进行设计,设计过程采用自上向下的设计原则,整体架构包含硬件设计、软件设计、算法设计三方面内容。根据系统应用需求实现硬件设计,包括光机结构设计、器件物料选型及PCB电路板设计等方面,根据功能需求对系统软件进行设计,主要包括系统软件环境配置及软件架构设计等。其次,分别对基于色彩传递的双光类自然色融合算法及基于YOLOv5模型的红外目标识别改进算法开展研究工作。开展融合算法研究前,采用降噪、均衡、去雾等图像预处理算法,保证融合图像具有良好的融合效果。融合算法过程包含两次双导向一阶融合、权重配比等步骤,融合效果从主客观角度进行验证分析。识别算法在原有YOLOv5模型基础上进行改进优化,分别对模型架构的输入端、Backbone等模块增添或替换卷积层,包括DenseBlock模块、Ghost卷积网络及SENet网络结构等,用于增强模型的检测效率,提升网络结构对红外图像目标的精确识别率。最终对本文系统开展测试工作,测试内容包含图像采集模块运行测试、整机运行测试及融合与识别算法效果的研究与分析。测试结果表明,本文所提出的双光系统性能良好,整机运行功耗为2.28W,体积为80×48×35mm,重量为142g;视场角均为40°,满足人眼视觉要求;具备红外/微光/融合/识别等图像模式,且连续3小时内工作无死机现象,满足预期性能需求;融合图像能够有效描述红外图像的热辐射目标信息及微光图像的细节纹理信息,且图像客观评价指标表现良好;改进后的识别算法相较改进前识别率提升6.85%,推理延时提升28.3%,最终应用过程中的红外图像目标平均精确识别率达82.7%,满足预期期望。总体来说,本文系统具有一定的研究价值与应用意义。