基于文字识别与页面布局的APP控件识别算法

作     者：丁世举 顾乃杰 黄章进 侯津 DING Shiju;GU Naijie;HUANG Zhangjin;HOU Jin

作者机构：中国科学技术大学计算机科学与技术学院合肥230027 安徽省计算与通信软件重点实验室合肥230027 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2019年第45卷第6期

页      面：89-95页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：图形用户界面 自动化测试 控件识别 文字识别 页面布局 

摘      要：在移动应用的开发周期中,使用图形用户界面(GUI)自动化测试技术可提高APP的开发测试效率。针对基于录制回放的GUI自动化测试方法存在不适用黑盒测试场景或识别正确率较低等不足,提出基于图像文字识别和应用页面布局的控件识别算法。根据移动应用的页面布局结构和手势操作坐标精确识别控件,采用控件树遍历的方式解决遍历过程中的页面布局重叠问题。分别在Android和iOS2个平台进行实验,结果表明,与基于坐标和源代码的控件识别算法相比,该控件识别算法具有更高的正确率。