之前在性能测试学习路线里,提到过《软件性能测试、分析与调优实践之路》这本书。
昨天看到之前自己记的读书笔记,整理一下发出来,希望对读者有所帮助。
网上关于性能测试的文章大多数时间比较久远,或者知识点比较散,如果你是新手的话,基本上看完这篇文章,就能对怎么做性能测试有一个初步的了解,能知道该怎么入手,知道性能测试的重点以及各项流程。
一、性能测试的基础知识
1、性能测试一般分为:负载测试、压力测试、基准测试、稳定性测试、扩展性测试。
2、常见的性能测试指标:
- 响应时间
- TPS/QPS
- 并发用户
- PV/UV
- 点击率
- 吞吐量
- 资源开销
(更多指标以及具体的名词解释,可参见文章《初识性能,你应该了解的基础》)
3、性能测试的场景:
- 业务场景:系统的业务处理流程;
- 测试场景:对业务场景的真实模拟;
- 单场景:只涉及单个业务流程的测试场景;
- 混合场景:每个业务流程在混合的业务流程中占的比重会不同,尽可能符合实际的业务需要。
二、性能测试的目标
1、了解系统的各项性能指标。
比如,通过压测可以了解系统能承受多大的并发访问量、系统的平均响应时间是多少、系统的TPS是多少等。
2、发现系统中存在的性能问题。
比如,系统中是否存在负载均衡不均、内存泄漏、连接泄漏、线程安全、死锁、网络架构或者应用架构扩展性问题,也能发现系统的性能瓶颈在何处。
作者列出的例子也都是比较典型的:
① 负载均衡不均匀
一般指的是在并发的情况下,每台服务器接收的并发压力不均匀,从而导致部分服务器因为压力过大而出现性能急剧下降,以及部分服务器因为并发过小而出现资源浪费的情况。
② 内存泄漏
是指应用程序代码在每次执行完后,不会主动释放内存资源而导致内存使用一直增加,最终会使服务器物理内存全部耗光,程序运行逐渐变慢,最终因为无法申请到内存而退出运行。内存泄漏多数情况下是非常缓慢的增加,不容易被发现,一般需要通过高并发性能压测才能暴露。
③ 连接泄漏
种类非常广泛,可以是数据库连接泄漏、HTTP连接泄漏或者其他的TCP/UDP连接泄漏等。除了系统实际情况需要建立长连接外,一般短连接都应该是用完就需要关闭和释放。
④ 线程安全问题
在高并发访问的多线程处理中经常会出现,表现为多个线程先后更改数据,造成所得到的数据全部是脏数据。
⑤ 死锁
出现在多并发情况下,为保证有限的资源正常使用,从而上锁,最后因为一线程(进程)无法及时释放资源,导致死锁。常见的有系统死锁、数据库死锁等。
⑥ 扩展性问题
一般是指性能指标无法满足预期的情况下,通过横向或者纵向扩展硬件资源后,系统性能指标无法按照一定的线性规律进行快速递增。
3、解决性能压测中存在的问题和性能瓶颈。
三、性能测试的基本流程
1、性能需求分析
① 熟悉业务流程,明确此次性能测试的目标,找到业务需求的性能点。
② 熟悉系统的应用架构、技术架构、数据架构、部署架构等,找到与其他系统的交互流程,明确系统部署的硬件配置信息、软件配置信息。
③ 把对性能测试有重要影响的关键点列举出来。
比如用户发起请求的顺序、请求之间的相互调用关系;业务的数据流走向;被压测系统可能存在的重点资源消耗;应用的部署架构等。
④ 明确系统上线后可能会达到的最大并发用户数、用户期望的平均响应时间以及峰值时的业务吞吐量,并将这些信息转化为性能需求指标。
2、制定性能测试计划
测试计划一般本次测试的目的,各个阶段的时间点+对应负责人,以及本次性能测试风险的分析和控制。
3、编写性能测试方案
测试方案一般包括:
① 设计测试场景。
② 定义具体事务操作。
③ 针对每个场景,明确监控对象和可能的性能瓶颈点:
- 监控对象:比如TPS、平均响应时间、击率、并发连接数、CPU、内存、IO等。
- 可能的性能瓶颈点:比如数据库查询、Web务器服务转发、应用服务器等。
④ 定义测试策略:明确性能测试的类型、执行顺序、加压方式(压测需要)。
⑤ 选取性能测试工具。
⑥ 明确硬件配置和软件配置:
- 硬件配置:服务器的CPU配置、内存配置、硬盘存储配置、集群环境下还要包括集群节点的数量配置等。
- 软件配置:操作系统、应用版本、参数配置和网络配置。
4、编写性能测试案例,对压测场景细化。
① 描述预置条件:满足啥条件性能测试案例才可以执行。
②详细描述案例执行的步骤,包括:
- 测试脚本的录制和编写脚本的调试;
- 脚本的执行过程(比如如何加压、每个加压的过程持续多久等);
- 要观察和记录的性能指标;
- 需要明确性能曲线的走势;
- 需要监控哪些性能指标等。
③ 描述性能测试预期需要达到的结果,比如:
- TPS需要达到多少;
- 平比响应时间需要控制到多少以内;
- 服务器资源的消耗需要控制在多少以内等。
ps:在实际工作中,你分析完性能需求之后,可以把测试计划、测试方案和测试案例合成一个文档,这块并没有严格的定义,可以按你们公司的流程来做。
5、搭建性能测试环境
6、构造性能测试数据
7、编写性能测试脚本
8、执行性能测试场景(案例)
9、分析性能测试结果,编写性能测试报告
10、系统性能瓶颈分析与性能调优
① 性能分析调优模型
② 性能分析调优思想:分层分析、科学论证、问题追溯与归纳总结。
③ 性能调优技术,一般包括:
- 缓存调优
- 同步转异步推送
- 拆分
- 任务分解与并行计算
- 索引与分库分表