我们应该怎么判断一款软件通过测试呢?我们在一轮迭代测试,或整个测试完成后需要做哪些工作呢?主要从有下四个方面进行说明:
需求点测试通过标准
根据测试需求的测试通过情况,我们可以方便的查看到软件模块的质量分布情况,以及对应的开发质量,可以根据情况及时的进行优化或改进。所以在测试迭代中,我们都会要求对一级需求点的测试通过情况进行统计,确定需求点是否通过测试,哪些需求点通过测试,每条需求点的bug分布情况。下面为我在一家公司制定的需求通过标准:
① 所有需求功能点/项中无遗留等级“高”及以上BUG。
② 一级需求点中总计遗留bug<= 5 例如:遗留Bug=5,若存在“中”级BUG,则“中”级BUG<= 2;若无“中”级BUG,则“低”级BUG<= 5。
测试通过标准
软件肯定不是没有bug就可以上线了,因为零bug是不可能的,所以我们都需要进行约定,制定一个测试通过标准。只要软件达到了这个标准,那就可以通过测试,进行下一步试运行测试或验收测试。而每个公司都有自己的测试通过标准,通常在项目总体计划中都会进行约定,下面为我在一公司制定的测试通过标准:
① 需求中定义的所有功能已实现。
② 所有要求的测试用例和测试程序已经100%被执行。
③ 测试覆盖率已达到系统需求的95%以上。
④ 测试中所发现的缺陷和错误已经100%定位。
⑤ 缺陷等级为“高”或以上的BUG 100%得到解决,中、低 (一般严重或轻微严重问题)等级BUG 95%以上得到解决。其它BUG若不能解决应给出不能解决或不计划解决的原因。
测试结果编写
当一轮测试完成后,测试负责人应编写测试结果。
测试结果内容主要包括:测试版本号,测试内容,需求点总个数,新建bug总数、回归bug数、回归bug通过数、需求点通过数、需求点通过率、bug分布情况,以及测试结论。
然后以邮件方式发送给项目经理、开发经理,并抄送给项目组成员。
测试报告编写
当一个版本测试完成后,测试负责人应该根据《测试报告模版》编写测试报告。说明测试情况并做明确的测试结论(即通过或不通过),然后以邮件方式发送项目经理,抄送给项目组全体人员。