vlambda博客
学习文章列表

APP性能测试不可缺少的评测方案-主观性能感知评测!

前言

性能评测一般输出的数据是各种性能指标,虽然性能指标的好坏代表了APP性能的优劣,但使用者是用户,所以在各项性能指标处于优势时,并不代表给用户的体验就是好的,这就需要增加一种面向用户体验的评测,我们称之为“主观性能感知评测”。

该评测选取主要使用场景,由人工操作与竞品对比,根据执行人员的主观感受来评测应用的流畅度,下面来介绍一下如何制定主观性能评测方案。


APP选取

1.  横向选择:选取APP所在类别前2名的APP来比较,如果评测APP已在类别排到前2名,需要排除后进行选取,以浏览器为例,用户占比前2名为QQ浏览器和UC浏览器,故选取QQ浏览器和UC浏览器进行横向对比;
2.  纵向选择:选取当前的测试版本及线上版本进行对比,主要测试当前测试版本相对线上版是否有所提升或者是否有所衰退;


Case选取

由于APP的功能很多,并不是所有功能都需要进行性能感知评测,需要提取出需要进行测试的功能与case,提取原则如下:
1.  提取功能:以浏览器为例,主要功能为网页浏览、资讯浏览,就需要将这2个功能加入对比项;
2.  提取case:确认功能后,需要根据功能来筛选需要进行评测case,以网页浏览和资讯浏览为例,主要功能为网页、资讯的打开、上下滑动、前进后退、多窗口浏览,根据主要功能选取case,最终选取case如下:


制定评测标准

由于本评测为主观性能评测,不会有详细数据输出,因此就以是否卡顿制定标准,制定标准如下:
1.   流畅:无任何卡顿感觉,使用顺畅;
2.   一般流畅:没有明显的卡顿感觉,用户难以感知;
3.   有点卡:使用过程中有轻微的卡顿感觉,用户能感知;
4.   卡顿状况很明显:使用过程中难以忍受;


制定测试方案

虽然不同人员执行主观评测得出的结论不同,但是还是需要统一环境,将除人工以外的部分变量定死,达到客观、公平的进行评测,所以需要制定测试方案,综上所述制定的测试方案如下:
1. 每次执行评测时,必须使用同一部手机完成,并且不能调整手机模式,例如性能模式、节能模式、分辨率等,如果有多部相同型号、相同系统的手机,在保证环境一致的情况下,也可以使用多部手机执行;
2. 每次执行评测时,网络环境需要保持一致,最好不要切换网络,如果网络情况不佳,建议更换一个稳定的网络进行评测;
3. 每次执行评测时,应用版本不能更换;
4. 每次执行评测时,执行人员不能更换;


执行测试

       根据测试方案执行表格中的case,将测试结果填入表格,填写结果时,颜色需要与评测标准中的颜色一致,便于结果查看,执行结果表格如下:


总结

主观性能感知评测,在评测中是不可缺少的,能直观的反映出应用与竞品在用户使用层面的差距。在制定完第一版测试方案后,随着功能的增加,我们还要不断评估新功能是否需要加入到case中,不断的完善评测方案!