基于多轴机械臂的立体空间触屏设备可视化测试方法

作     者：金苇 

作者单位：南京航空航天大学 

学位级别：硕士

导师姓名：钱巨

授予年度：2022年

学科分类：0810[工学-信息与通信工程] 080202[工学-机械电子工程] 08[工学] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 081001[工学-通信与信息系统] 

主      题：测试自动化 计算机视觉 多轴机械臂 非侵入式 触屏设备 

摘      要：随着触屏设备的广泛应用,针对触屏应用程序的GUI测试变得愈发重要。传统的GUI测试自动化技术基于控件的ID、标签等属性获取控件进行测试,此类方法对于被测软件的GUI框架具有较强的依赖,不易实现跨平台测试。为了摆脱对于GUI框架的依赖,引入了基于计算机视觉算法的可视化GUI测试,利用图像从软件界面截图定位控件,此类技术适用于多种平台下GUI软件测试,但其仍然需要与被测设备的底层操作系统进行交互,属于侵入式测试。基于二维机器人的测试自动化技术利用平面运动机器人模拟用户操作行为,摆脱了对于被测设备操作系统的依赖,使得测试技术的适用范围进一步提升。然而,此类方法受限于设备和算法局限,无法针对一些具有复杂姿态的立体空间设备开展测试,例如银行ATM机、车载屏幕等。为了实现针对立体空间设备的非侵入式测试,本文设计了一种基于多轴机械臂与深度相机的3D触屏机器人测试方法,该方法无需访问被测设备操作系统,利用深度相机与六轴机械臂实现针对立体空间设备的测试,具有更广阔的适用面。具体研究内容如下:1)研究并提出了一套面向3D触屏设备的机器人测试系统。探索了何种相机配置与布局更适合控件在三维空间中的定位、何种机器人装置更便于从多个角度对被测设备屏幕进行触控、采用怎样的框架来开展测试等问题,最终组合操作台、深度相机、高清RGB相机、多轴机械臂以及触控笔,构成了测试机器人硬件装置,设计了驱动机器人开展测试的软件框架。2)研究并提出了一种测试执行算法引擎。算法引擎提出屏幕和目标控件的定位算法解决了难以在三维空间中对目标控件进行准确定位的难题,利用测试动作分解算法解决了如何将复杂的测试动作分解为多个简单的机械臂基本运动步骤的难题,使得机械臂能够有效按照测试脚本中的指令执行触屏测试动作。3)研究并提出了一套立体空间触控校准机制。受限于深度相机计算精度以及机械臂本身的运动精度,机械臂最终触控位置与目标控件的实际位置可能产生偏差,导致测试执行准确率有时相对偏低。本文提出了一种基于触控反馈的立体空间触控校准机制,该机制可以在不侵入被测设备的前提下,有效修正机械臂最终的触控位置,提高测试执行的准确率。基于3D触屏机器人测试方法,本文在具有不同倾斜角度的立体空间设备上进行了实验论证,结果显示本方法有较高的执行准确度,能有效完成测试脚本中规定的测试动作,同时具有良好的跨平台性,能对多种不同操作系统的设备开展测试,有较好的应用价值。