面向移动应用的众包测试报告排序技术研究

作     者：童瑶 

作者单位：苏州大学 

学位级别：硕士

导师姓名：章晓芳

授予年度：2022年

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：众包软件测试 测试报告 多模态信息 排序技术 

摘      要：软件测试是软件工程不可或缺的重要环节之一,而众包测试是软件测试的一个重要分支。在众包测试中,工人执行测试任务并提交测试报告,开发者需要对提交的测试报告进行审查和评估。由于测试报告数量众多且往往质量参差不齐,开发者在人工审查过程中将花费大量时间,直接影响了众包测试效率。近年来,出现了许多自动化技术,如聚类、分类和排序技术,以减少审查数量并提高审查效率。然而面对移动应用众测报告的文本和图像信息时,已有的报告分析技术未深入探索文本和图像之间的关系。针对以上情况,本文从报告自身的特征出发,研究如何最大化利用文本和图像信息,提出了三种改进的移动众包测试报告排序技术。(1)针对移动应用测试报告中文本描述简短、信息不足的问题,提出了一种基于数据增强的测试报告排序技术。该技术先对报告中的文本信息分词,并采用OCR技术提取报告中截图的关键词。接着汇总以上关键词,对于关键词较少的报告,借助相似报告为它生成新的关键词。最后根据报告的关键词集合,采用贪心策略算法来抽样,从而提高审查报告的效率。(2)针对现有技术仅对文本信息分词,未深入分析理解文本内容的问题,提出了一种基于文本和图像理解的测试报告排序技术。该技术将文本描述进行分类,分为描述系统行为和描述重现步骤两种情况,对这两种情况采用不同的文本特征提取方式。接着将文本特征和降维后的图像特征拼接,通过对聚类后的报告类簇进行抽样,来生成审查顺序。(3)针对现有技术仅关注审查不同类型缺陷的效率,并未考虑到缺陷严重性的问题,提出了一种考虑严重性的众包测试报告排序技术。该技术从测试报告的文本和截图信息中提取特征,利用哈希技术对测试报告建立索引,接着对哈希表中数据进行抽样,选择每个索引对应数据中文本信息熵最大的报告,来获得报告集的审查顺序。其中,在面向移动应用众测报告的文本和图像信息中,图像传达出更客观的信息,因此我们更多地利用图像特征。本文针对移动应用场景下,众包测试报告文本描述简短、截图丰富的特征,提出了三种排序技术,能够减少人工审查的报告数量、有效提高报告审查效率。