有赞分层自动化测试实践

1. 背景 先理一下自动化测试的概念,从广义上来说,一切通过工具(程序)的方式来代替或者辅助手工测试的行为都可以成为自动化。从狭义上来说,通过编写脚本的方式,模拟手工测试的过程,从而替代人工对系统的功能进行验证。 有赞是一家互联网行业的创业公司,测试起步较晚,发布非常频繁,就算每次只回归核心功能,对人数极少的几个测试人员来说工作量巨大,且基本是重复劳动,极其枯燥,持续时间长了也容易出错。 所以初期我们测试自动化切入的思路非常简单:从实际用户的角度出发,模拟真实的操作,替代现有的手工测试用例的执行。这样一来,每次重复的工作就可以用自动化来替代,…

Read More

如何利用TestNG监听器优化测试报告

今年四月底我花了一天时间简单搭建了php接口测试工程,maven + TestNG + jenkins,从0开始到现在510个用例(持续增长中),逐渐开始提高了测试回归效率并发现一些线上bug,这期间遇到过不少问题,这次先分享下如何利用TestNG监听器优化测试报告。 一、给工程添加失败重试机制 接口用例量上来以后,我们遇到的第一个问题就是http方式调用php接口会有部分接口偶尔不稳定或者超时的情况,但第二次运行又正常,每次接口失败都需要花费时间排查,但实际没有问题,为了排除不稳定带来的干扰,节约排查维护时间,首先需要做的是给工程添加失败自动重试机制。 目前我的做法是实现了TestNG自带的IRetryAnalyzer接口,定义了一个MAX_RETRY_COUNT,即最大重试次数,实现的retry方法非常简单,…

Read More