基于文字识别与页面布局的APP控件识别算法

在移动应用的开发周期中,使用图形用户界面(GUI)自动化测试技术可提高APP的开发测试效率。针对基于录制回放的GUI自动化测试方法存在不适用黑盒测试场景或识别正确率较低等不足,提出基于图像文字识别和应用页面布局的控件识别算法。根据移动应用的页面布局结构和手势操作坐标精确识别控件,采用控件树遍历的方式解决遍历过程中的页面布局重叠问题。分别在Android和iOS 2个平台进行实验,结果表明,与基于坐标和源代码的控件识别算法相比,该控件识别算法具有更高的正确率。     

基于控件路径的跨设备UI自动化测试方法

随着移动应用的爆炸式增长,如何高效、正确地进行UI自动化测试成为了一个重要问题.传统自动化方法大多需手动编写测试脚本,自动化程度更高的录制回放方法则普遍具有跨设备能力不足的问题,而且现有断言机制已经不足以描述丰富的UI语义.针对上述问题,本文提出一种跨设备能力强且可以描述丰富UI语义的录制回放自动化测试方法.该方法使用控件路径精确定位控件,并结合跨设备UI自适应方法以提高跨设备能力;通过提出两种新的断言机制以支持与数字排序和图片相关的UI语义.在该方法基础上,本文面向Android和iOS应用程序实现了一种自动化测试框架RRF,实验结果表明RRF的回放成功率比其他自动化测试工具更高.