1、解释常用的性能指标名称与具体含义
性能测试 通过测试工具模拟多种正常、峰值及异常负载条件来对系统的各项性能指标进行测试。验证软件系统是否能够达到用户提出的性能指标,发现系统中存在的性能瓶颈并加以优化。
性能指标分为两个方面:
- 系统指标:与用户场景和需求相关指标;
- 资源指标:与硬件资源消耗相关指标;
系统指标:
响应时间:即系统响应时间(Transaction Response Time),应用系统从发出请求到客户端接收到响应所消耗的时间,是用户视角最关心的软件性能业务体验。响应时间为网络响应时间与应用程序响应时间之和;
2/5/8原则
- 一般响应时间在2s内,用户会感觉比较满意;
- 在2s~5s之间,用户勉强能接受;
- 大于8s,用户就可能无法接受,从而刷新页面或者离开;
平均响应时间:所有请求花费的平均时间;
吞吐量:单位时间内系统能够处理的客户请求的数量,直接体现软件系统的性能承载能力,计算方式是完成的事务数除以时间;
并发用户数:并发主要是针对服务器而言,在同一时刻与服务器进行交互(指向服务器发出请求)的在线用户数;
在线用户数:某段时间内,用户访问系统的用户数,如多个用户在浏览网页,但没有对同时对服务器进行数据请求,需要与并发用户数区分开;
最大并发用户数:有两种理解方式一种是从业务的角度来模拟真实的用户访问,体现的是业务并发用户数,指在同一时间段内访问系统的用户数量。另一种是从服务器端承受的压力来考虑,这里的“并发用户数”指的是同时向服务器端发出请求的客户数,一般结合并发测试(Concurrency Testing)使用,体现的是服务端承受的最大并发访问数;
事务:Transaction,可以看作是一个动作或是一系列动作的集合,例如登录,从登录开始到登录结束为一个事务。
TPS:Transaction per second,每秒钟系统能够处理的交易或者事务的数量,即服务器对客户请求的能力,是衡量系统处理能力的重要指标。
吞吐量:网络传输的数据量(处理客户的请求数);
吞吐率:单位时间(可以是秒/分/时/天)内网络成功传输的数据量,如请求数/秒、页面数/秒;
点击数:Web Server收到的HTTP请求数;
点击率:HPS,每秒钟用户向Web Server提交的HTTP请求数;
资源指标:
硬件性能指标:CPU,内存Memory,磁盘I/O(Disk I/O),网络I/O(Network I/O) ;
中间件:常用的中间件如web服务器Tomcat,nginx,Weblogic,JVM(java虚拟机),ThreadPool线程池,JDBC数据驱动 ;
数据库指标:SQL,吞吐量,缓存命中率,连接数等;
JVM:Java虚拟机,为使java的代码可以编译运行在不同的平台上顺畅,仿真模拟各种计算机来实现 ;
前端指标 :首次显示时间,页面数量,页面大小,网络startRender,firstRender等。前端的性能与后端的性能的不同点在于,前端是每个用户的直观的感受,如前端页面加载元素耗费的时间,而后端的性能关注点在于多用户使用系统时,服务器是否能够承受或者服务器的处理能力如何,能否以较好的响应时间响应;
Load:系统平均负载,特定时间间隔内运行进程数,Load与cpu核数一致;
2、性能测试包含了哪些测试类型?
负载测试(Load Testing):模拟实际软件系统所承受的负载条件的系统负荷,通过不断加载(如逐渐增加模拟用户的数量)或其它加载方式来观察不同负载下系统的响应时间和数据吞吐量、系统占用的资源(如CPU、内存)等,以检验系统的行为和特性,以发现系统可能存在的性能瓶颈、内存泄漏、不能实时同步等问题;(比如实际中我们说从比较小的负载开始,逐渐增加模拟用户的数量, 直到应用程序响应时间超时,就是说的负载测试)
压力测试(Stress Testing):压力测试也称为强度测试,是在 强负载(大数据量、大量并发用户等) 下的测试,查看应用系统在峰值使用情况下操作行为,从而有效地发现系统的某项功能隐患、系统是否具有良好的容错能力和可恢复能力。压力测试分为高负载下的长时间(如24小时以上)的稳定性压力测试和极限负载情况下导致系统崩溃的破坏性压力测试;(压力测试是测试系统的限制和故障恢复能力,也就是测试Web应用系统会不会崩溃,在什么情况下会崩溃)
容量测试(Volume Testing):确定系统最大承受量,譬如系统最大用户数,最大存储量,最多处理的数据流量等;
并发测试(Concurrent Testing): 测试多用户并发访问同一个应用、模块、数据时是否产生隐藏的并发问题;
基准测试 (BenchmarkTesting):比较新的或未知测试对象与已知参照标准(如现有软件或评测标准)的性能;
3、你认为不同角色关注的软件性能要点分别是?
客户:重点关注打开速度及响应时间;
- 在进行操作时,每个请求之间的间隔时间;
- 大量用户在同一时刻在软件系统上操作是否有较好的体验;
开发人员:重点关注响应时间和数据库交互,进行性能调优;
- 系统架构:架构设计是否合理;
- 数据库设计:数据库设计是否存在问题;
- 代码:代码是否存在性能方面的问题,系统中是否有不合理的内存使用方式;
- 业务逻辑:系统中是否存在不合理的线程同步方式,系统中是否存在不合理的资源竞争;
测试人员:重点关注用户感受到的软件性能;
- 系统的响应时间;
- 系统状态的相关信息,如:CPU、内存、应用服务器状态、JVM可用内存、数据库的状态等;
- 系统的可扩展性,处理并发的能力;
- 系统可能的最大容量,可能的性能瓶颈,通过更换哪些设备或是进行哪些扩展能够提高系统性能;
- 长时间运行是否足够稳定,是否能够不间断的提供业务服务等;
4、如何得到性能测试需求?
- 查看需求文档提取性能测试需求,了解客户实际使用情况;
- 结合业务信息,设计操作场景从而总结出需要测试的性能关键指标;
- 执行用例后,提取关键性能指标来分析是否满足性能需求;
5、简述性能测试步骤?