系统性能测试的基本流程,系统性能评价的指标怎么定义?

知梧 781 2023-06-28

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表睿象云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。

本文关于系统性能测试的基本流程,系统性能评价的指标怎么定义的相关内容。

系统测试的定义

将已经集成好的软件系统,作为整个计算系统性能测试报告机系统的一个元素,与计算机硬件、外软件系统性能测试设、某些支持软件、数据和人员等其它系统元素结合在一起,在实际运行(使用)环境下, - 对计算机系统进行一系列测试活动。

根本任务

证明被测系统的功能和结构的稳定性;还要有一些非功能测试:性能测试、压力测试、可靠性测试等等。
目的系统性能测试工具

确保软件产品能够被用户或操作者接受。
系统测试属于黑盒测试范畴,不再对软件的源代系统性能测试软件码进行分析和测试。
系统测试的组织

  • 系统测试主要是由质量部门的测试工程师来主导工作。

  • 测试组组长:组织测试;

  • 测试分析员:负责设计和实现测试脚本和测试用例;

  • 测试者:负责执行测试脚本中记录的测试用例。

系统测试员和用户

相似的地方

  • 都是使用软件,一般不接触软件的代码

  • 都是假设软件应该正确实现说明书的功能

  • 不同的地方

  • 使用软件的目的

  • 对待错误
    系统测试的内容

功能特性的测试:功能web系统性能测试测试、用户界面测试、安装/卸载测试、可使用性测试。

非功能特性的测试:性能测试、负载测试、压力测试、疲劳测试、安全测试、恢复测试、兼容性测试、可靠* 性测试、强度测试、容量测试、配置测试。


性能测试基本流程

(一)压测场景收集

首先,从产品经理处收集压测场景及用户信息系统性能测试行为数据;

从需求获取压力场景:10个租户,每个租户平均日常工单量为100,日常在系统性能测试方法线用户60个,每个租户平均用户数200个,全天工作时间分布在8:00-18:00,平均每个工单业务周期为3天;

举例:

(二)制定测试方案

第一步:根据原始需求场景确定以系统性能测试方案下压力测试场景、测试点及估算相关指标:

1. 平均并发:10个租户,每个租户200个用户,根据业务量1000单/天,与需求确定,每用户每天2单计算,每天有500个用户上线系统,且上线和登录时间为整天工作时长,则平均并发用户=500*8/8=500;

2. 并发峰值:用户并发峰值= 平均并发+3*根号平均并发=567;

3. 平均响应时间:单点效率小于2秒,并发场景下平均响应时间小于3秒;

4. 估算TPS:根据需求提供场景,设备服务各业务从时间分布上没有密web系统性能测试报告度的差异(需后续通过日志统计用户行为确定),所以根据并发用户数和间隔时间估算出TPS(每秒事务数)

TPS=并发用户/(操作间隔+平均响应时间)

第二步:确定单点业务压测策略;

总体策略:考察单项业务的最大负载能力,单项业务达标是混合业务压测的基础;采用阶梯压测,缓慢上监控系统性能测试线用户,以便检测监控TPS、事务平均响应时间与上线用户的关系;基础并发为50,极限并发为100,每秒上线1个用户,运行120分钟;

操作步长:模拟上线用户实际可以提交的最大业务量,设置操作步长为1秒;

思考时间:根据实际测算统一为5秒;

第三步:确定混合业务场景压测策略

总体策略:模拟实际业务场景,考察系统整体业务运行下的负载能力,采用阶梯压测,缓慢上线用户,以便与监控TPS、事务平均响应时间与上线用户的关系,设计总用户数为567个,每秒上线1个用户,运行时间8小时;

操作步长:1.工单流程(创建工单-确认-派工-接收-签到信息系统性能测试报告-完工)包括:移动端-服务申请、移动端-快速工单、小程序端-故障报修/调试申请、PC端-安装工单,操作步长为7200秒;

2.查询流程:操作步长为3600秒;

思考时间:根据实际测算统一为5秒;

注:1、压力测试并发用户数量:

模拟真实再现用户并发数量

2、步长:

每个虚拟用户在一个事务执行结束到下个事务执行开始之间的等待时间

3、思考时间:

用例回放时各个事务点之间的停顿时间

4、QPS:Queries Per Second意思是“每秒查询率”系统性能测试指标,是一台服务器每秒能够相应的查询系统性能评估测试次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

5、TPS:是TransactionsPerSecond的电商系统性能测试实例缩写,也就是事务数/秒。它是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。文件系统性能测试工具客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时间和完成的事务个数,

QPS = req/sec = 请求数/秒

TPS =事务数/秒(每秒事务数)

(三)测试准备

1、工具准备

测试工具:jmeter等;

系统监控工具:Grafana等;

链路监控工具:Pinpoint等;

2、环境准备

测试前要确定被测试应用的资源情况,这样做的目的:

1. 在既定的软硬件资源下进行测试,系统性能测试表修改和调优前后的性能指标驱动系统性能测试才有对比性;

2. 根据性能测试结果,得出系统资源基本配置和推荐配置

3. 动态调整资源,需要有一定的规则;比如特定并发验证符合性能指标,并且cpu资源平均负载在70%-80%以下,可以选择继续增加并发,直到cpu平均负载超过80%,再考虑增加资源;

以某被测系统为例,应用资源池为7台主机组成,数据库服务器为1台主机,均采用容器化部署

3、数据准备

准备租户、准备基础数据、被功能验证通过

(四)录制和调试脚本

使用工具:Fillder+jmeter

(五)执行测试

1.查看测试结果(事务通过数,失败数,tps曲线等)

以某工单功能为例

Tps最高上3.74,通过事务平均响应时间(秒):12.365,用户并发到达80有大量事务报错,无法满足性能指标要求;

分析发现以下情况

上线用户增加到25-30左右时,TPS会有一个比较明显的下落,并且后续随着上线用户增加TPS没有增加的趋势,说明上线用户到达30时,系统性能已经出现瓶颈;

说明系统对于创建工单的最大用户容量大概在60个,最高TPS为3.7;

2.分析工具(链路分析,慢sql,系统资源监控等)

(六)测试报告

整理形成测试报告


系统性能评价的指标

第一: 直接经济效益评价,它是指企业运行MlS之后,使用计算机管理所节约的开支与企业在MIS实施过程中一次性投资(包括软件、硬件投资)的折旧和运行费用相比较的结果。管理信息系统的应用,增加了投资和一些费用,但可以减少管理人员,这就减少了工资及劳动费用,通过实现管理现代化,节约物资消耗,降低成本消耗,减少库存资金,节约管理费用,还能够堵塞资金漏洞等。科学的计划决策更能带来难以估价的经济效益。   

第二: 间接经济效益的评价,它是指企业在运行MIS之后,在提高管理效率方面和数据集中管理方面,以及在建立网络系统之后数据的共享和数据传递的及时性、准确性方面,可以实现实时、定量的管理方面,提高了企业竞争力而带来的效益的评价。其主要表现在通过管理手段,由于整体管理工作水平的提高所带来的综合经济效益,这类综合性的效益,往往要经过一段时间才能反映出来,而且越是向高级阶段发展,这类效果就越显著,并能对企业产生质的战略性的影响。它主要反映在能够使企业管理工作自动化、基础数据现代化、管理体制合理化、管理决策科学化、管理效果最优化等方面。   

以上就是小编为大家整理的关于系统性能测试的相关内容。

上一篇:Camunda流程引擎事件(Events)介绍,React事件流机制
下一篇:如果你在找测试的工作,记得看这一份性能测试面试题及答案
相关文章

 发表评论

暂时没有评论,来抢沙发吧~