背景
大多数项目中,项目经理(或产品经理、团队)都是根据测试人员出具的测试报告或反馈的质量情况做出能否上线的决策。如果测试报告信息不准确,可能会带来非常严重的质量事故。
今天小编从功能、稳定性、性能、质量风险、内部体验这几方面谈谈如何评价一款产品的质量好坏以及产品的上线标准。
功能正确性
1、需求实现
本版本所有需求都已经实现
2、测试任务
本版本所有测试任务都已经执行完毕
3、缺陷(Bug)修复
对于遗留bug的处理方案,团队内部达成一致意见。
稳定性
稳定评测可以从三方面进行,自动化评测、线上灰度崩溃、与上一版本数据对比。
1、自动化评测
比如无新增的未知的Crash发生,且所有已知Crash能够修复的均已修复。
2、线上灰度崩溃
1)线上主进程Crash全部修复;
2)线上子进程所有已知Crash均已修复;
3)线上子进程没有新增的密集的崩溃。
3、与上一版本数据对比
同上一版本的稳定性比较,相同或更优。
性能
性能方面与产品的特征有较大关系,以浏览器为例,测试人员可以根据自身产品特点制定性能指标。
1、页面加载性能
Wifi页面加载速度与上一版本相比,不能下降。
2G3G页面加载速度与上一版本相比,不能下降。
2、冷启动时间评测
冷启动时间与上一版相比,不能增加。
向竞品看齐,与竞品的差距情况公示。
3、主观性能感知
高端机不能有非常卡的情况,有点卡的情况也应该控制数量
高中低端机均不能有较线上版明显的卡顿内容
质量风险
针对遗留不解决bug,做出风险公示。
内部体验
目标是本版本体验结果不差于上一版本,具体评价标准:团队内部安排体验评测,没有发现体验上严重影响用户的问题。