面向GUI控件识别的深度学习图像匹配算法研究

作     者：郝琳 

作者单位：北华航天工业学院 

学位级别：硕士

导师姓名：李瑛;杨扬

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：UI自动化测试 控件识别 目标检测 图像匹配 

摘      要：敏捷开发的兴起导致软件开发周期逐渐缩短,迭代和交付频率不断加快,软件产品质量效能要求也越来越高。UI(User Interface)自动化测试是保证软件质量以及用户交互性的关键,其中首要解决的就是GUI(Graphical User Interface)控件识别技术。传统识别方式存在自适应差和脚本迁移能力弱等典型问题,而基于图像匹配的方式,通过计算GUI控件图像之间的相似性来识别GUI控件,在检测GUI控件变形方面表现优异,且脚本跨平台性强、可重用性高。相较于传统基于手工特征的图像匹配方式,深度学习方法可以提取出图像中更为深层的特征,对噪声、形变等具有鲁棒性,且在航拍、遥感等领域已取得良好效果。为此本文针对GUI控件识别方面的深度学习图像匹配算法进行研究,重点开展控件图像检测和控件图像匹配算法的优化和改进,从而提高GUI控件的检测能力和匹配准确率。主要工作如下。(1)针对传统NMS(Non-Maximum Suppression)缺少定位置信度因素的问题以及控件定位需要更为准确的中心坐标的要求,提出了将Io U-guided NMS应用于YOLOv5中,并在网络预测器部分增加Io U(Intersection over Union)预测分支,从而在不影响预测框初始类别和坐标的情况下,提高了预测框的定位准确程度。(2)本文以移动应用程序GUI截图为数据来源,经过图像提取和标注,构建出GUI控件图像匹配数据集。针对Siamese网络中全连接层需要输入图像尺寸固定的问题,提出使用卷积层替代全连接层的方法,并引入了注意力机制模块来提升网络的精度,在自定义数据集上完成训练,提升了匹配网络对相似控件图像的辨别能力。(3)针对GUI控件图像中混杂着文本的典型情况,引入了深度学习文字识别模型,将文本与控件图像的检测分开进行,从而提高文本的检测能力。基于上述模型,实现了一个UI自动化测试系统,并开展应用实践。实验结果表明,改进后的YOLOv5在AP90上由22.8提升到24.0,改进后的Siamese网络在准确率上由98.24%提升到99.02%,同时经验证,本文所研究算法在UI自动化测试系统中应用效果良好。