接口自动化测试用例覆盖率(自动化接口测试难点)

网友投稿 1242 2023-01-28


本篇文章给大家谈谈接口自动化测试用例覆盖率,以及自动化接口测试难点对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 今天给各位分享接口自动化测试用例覆盖率的知识,其中也会对自动化接口测试难点进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

自动化覆盖率是什么

覆盖率是度量测试完整性接口自动化测试用例覆盖率的一个手段接口自动化测试用例覆盖率,是测试有效性接口自动化测试用例覆盖率的一个度量。通过已执行代码表示接口自动化测试用例覆盖率,用于可靠性、稳定性以及性能的评测。测试覆盖是对测试完全程度的评测。测试覆盖是由测试需求和测试用例的覆盖或已执行代码的覆盖表示的。建立在对测试结果的评估和对测试过程中确定的变更请求(缺陷)的分析的基础上。

自动化覆盖率

我们提倡提升自动化覆盖率,我们为自动化覆盖率而努力!

但自动化覆盖率的纬度有很多,

简单从核心案例或手工案例做基数计算是不负责任的,

为什么?

因为它是一项重要指标,

将指导整个测试自动化的方向,

因为自动化案例都由手工测试人员编写和执行,

也将影响整个测试质量。

我们的自动化覆盖率并不差:

1,被测系统自动化覆盖率100%,

我们指不出哪个系统没有自动化脚本或案例。

2,生产高频top100交易自动化覆盖率100%

3,重要级系统 高频交易top 5000,

自动化覆盖率可能已超过80%。

4,如果非得和手工案例拼量,

某项目自动化执行年几百万次等等,

自动化执行案例总量占比也已超过50%

事实上我们的自动化覆盖率在行业中可以排在最前面。

为什么总是认为覆盖率有待提升?

1,部分人对自动化覆盖率没有清醒的认识,

未能明确基数和覆盖率分类,计算方式就有问题。

2,没有自动化覆盖率成效分析和目标,

缺少自动化测试规划。

3,重点重要被关注的测试项目没有测试自动化能力,

从上往下看,领导能看得见项目均缺少覆盖率。

转: 2021年自动化测试复盘(2) (testwo.com)

代码覆盖率VS测试覆盖率

测试覆盖率和代码覆盖率是衡量代码有效性的最流行方法。这些术语有时会同时出现,因为它们的基本原理相同。但是它们并不是那么一致。很多时候,测试团队和开发团队对这两个术语的使用感到困惑。下面详细讨论代码覆盖率和测试覆盖率之间的区别的原因。

代码覆盖率:表示通过用Selenium或任何其他测试自动化框架进行的手动测试和自动化测试,测试用例覆盖的代码百分比。例如,如果源代码具有一个简单的if...else循环,则如果测试代码可以覆盖这两种情况(即if&else),则代码覆盖率将为100%。

测试范围:包括测试作为功能需求规范,软件需求规范和其他必需文档的一部分而实现的功能。例如,如果要对Web应用程序执行跨浏览器测试,以确保应用程序可以在其他浏览器流畅运行。测试覆盖范围是已验证Web应用程序的浏览器兼容性的浏览器+操作系统组合的数量。

开发人员在单元测试期间执行代码覆盖,以验证代码实现,尽可能多执行代码语句。大多数代码覆盖率工具都使用静态工具,将监视执行的语句插入代码中的必要位置。尽管添加检测代码会导致总体应用程序大小和执行时间增加,但与通过执行检测代码生成的信息相比,开销却很小。输出包含一个详细描述测试套件测试范围的报告。

单元测试主要用于在单个单元级别上测试代码。由于单元测试是由开发人员自己编写的,因此他对应该作为单元测试的一部分包含的测试具有更好的可见性。单元测试有助于提高软件的整体质量,但是关于构成单元测试的测试数量始终存在疑问。测试套件中是否有足够数量的测试方案?我们应该添加更多测试吗?代码覆盖率是所有这些问题的重要衡量标准。

随着产品开发的进行,新功能以及BUG修复补丁将添加到发布周期中。这意味着测试代码可能还需要进行更改,以使其与开发过程中所做的软件更改保持一致。在项目开始时设定的测试标准必须与后续的发布周期保持一致,这一点很重要。代码覆盖率可用于确保测试过程符合这些标准,并且质量最好的代码进入生产阶段。

代码覆盖率越高,发生未检测到的错误的概率越低。在某些组织中,质量团队设置在将软件推向生产阶段之前需要实现的最小代码覆盖量。这样做的主要原因是为了减少在产品开发的后期阶段检测到错误的可能性。

代码覆盖范围有不同的级别,代码覆盖率的一些常见的类型为:

为了检查代码覆盖率,使用了一种称为检测的方法。工具可用于监视性能,插入跟踪信息以及诊断源代码中的任何类型的错误。

仪器分为三种主要类型

根据测试要求,团队应该选择正确的代码覆盖率工具以及该工具支持的最佳检测方法。

有许多支持不同编程语言的代码覆盖工具,其中许多还可以兼用作QA工具。许多工具可以与构建工具和项目管理工具集成在一起,从而使它们更加强大的作用。选择开源代码覆盖率工具时,应检查该工具支持的功能以及该工具是否正在积极开发迭代中。下面是一些流行的开源代码覆盖工具:

与代码覆盖率是白盒测试方法不同,测试覆盖率是黑盒测试方法。以最大范围覆盖FRS(功能需求规范),SRS(软件需求规范),URS(用户需求规范)等中提到的需求的方式编写测试用例。

像代码覆盖率一样,也可以通过不同类型的测试来评估测试覆盖率。但是,应遵循哪种测试完全取决于具体的业务。例如在以用户为中心的Web应用程序中,可能存在UI/UX测试比功能测试具有更高优先级的情况,而在其他类型的应用程序中(例如银行,金融);可用性测试,安全性测试等可能更为重要。

以下是一些测试覆盖率机制:

要注意的另一个重要点是,测试覆盖范围的目的和含义可能会有所不同,具体取决于执行测试的级别。它还取决于执行黑盒测试的产品类型。用于测试手机的测试覆盖率指标将不同于用于网站测试的指标。一些分类如下:

在代码覆盖率的情况下,度量标准是通过测试用例/测试套件测试的代码的百分比。因此,可以量化测试结果,即在100 LOC(代码行)中,代码覆盖率为80行。这意味着代码覆盖率为80%。由于执行测试是为了验证功能要求,因此无法量化测试覆盖率的结果。还可以提出可以在单个测试中测试多个需求的黑匣子测试。 尽管在少数情况下必须编写测试代码来达到测试覆盖率要求,但是在某些情况下,您可能仍需要使用一些流行的测试框架。两种最受欢迎 的测试框架是:

衡量代码覆盖率和测试覆盖率的影响的基础完全不同。代码覆盖率是通过测试期间覆盖的代码百分比来衡量的,而测试覆盖率是通过测试覆盖的功能来衡量的。 重要的是“其中哪一项最适合项目”?这个问题没有确切的答案,因为解决方案取决于项目的类型和复杂性。在大多数情况下,使用测试覆盖率和代码覆盖率,因为它们在软件项目中同等重要。

测试团队应花费大量时间来了解总体要求并确定测试活动的优先级。为了跟踪进度,他们应该有一个清单,该清单应定期更新(至少在每次发行之后)。测试团队还必须与质量保证(QA)团队保持频繁的沟通,这是很重要的,因为他们具有要发布给客户/客户的产品/项目必须达到的目标(测试/代码)覆盖范围的详细信息。没有专门的经验法则提到测试产品时需要达到的最小代码覆盖率或测试覆盖率百分比。

追求覆盖率只是手段而不是目的。测试同学的终极目的还是要在首先的资源情况下最大显得保障产品质量。不能因为KPI就盲目追求手段的极致,反而本末倒置,最终陷入泥潭不能自拔。

使用配置表+Mocha动态生成用例的JSAPI自动化测试

一、版本发布前接口自动化测试用例覆盖率,接口测试之痛

App版本发布前接口自动化测试用例覆盖率接口自动化测试用例覆盖率我们都要手工做接口测试,目接口自动化测试用例覆盖率的是保证App内部H5页面所使用的JSAPI的功能正常,而对所有H5页面进行的P0级功能测试。为什么要做接口测试呢?因为JSAPI无法抓包,测试难度比较大,所以只能通过对H5页面的功能进行校验。但是手工测试,场景覆盖不全面,且耗时耗力。

二、JSAPI自动化测试方案

首先思考几个问题:一个APP有多少个JSAPI?它的用例场景有多少?如何能做到对用例的高效管理?

答案:对于我们app,有22条JSAPI,每条JSAPI多的话可能有几十个场景。传统的自动化方案,通常是一个场景需要手工编写一条用例,这种自动化的方案成本可以说也是非常高的,好在JSAPI并不常变动。但是,我们想实现一种更高效的自动化方式,不需要编写和管理那么多条用例,提升执行效率,同时降低学习成本。

2.1先来看看JSAPI是什么?

Html通过Jsapi,与app收发数据,形如:WebViewJavascriptBridge.callHandler

("API名称", {调用参数},  <回调函数); js调用app的指定api,该方法由页面主动触发举个例子:

如上,getMainInfo是html中一个button的响应函数。我们在js中,通过JSBridge实现对相应JSAPI的调用,如下:实现H5页面可以直接获取到APP的maininfo数据。

2.2方案与原理

1、首先要解决用例管理的问题,我们实现了一种基于配置表的自动化测试方案,不需要编写脚本,只需把所有用例(含请求参数及返回参数的预期值),放到excel配置表中,通过解析器把所有的参数读出来,再通过模版字符串自动生成用例集。

2、jsapi不能脱离app执行,因此在app增加彩蛋入口,连接到一个网页,打开网页时,由js文件自动加载用例集去调用相关的jsapi接口,并用chai断言库对结果进行校验。

3、jsapi有两种,一种是有参数返回的,一种是会引发UI变更的,下图分别是两种jsapi的自动化校验方案。第一种在下文进行了详尽的描述,第二种需要基于UI的自动化去实现,解决了h5页面的控件在app中无法识别的问题。采用js定时传参给html,配合前端自动化去触发调用的方式实现。

2.3用例管理

如下图:第一行是参数名,蓝色是请求参数,绿色是所有返回参数,用‘/’分隔。返回参数的预期值,用正则表达式来表达。

2.4用例解析器

将上述表格解析为如下格式,params和result是两个数组,每个sheet有几行,数组就有几个值,表格中每行代表一个场景。解析器基于Node.js,在服务端运行。

2.5使用Node.js+模版字符串动态生成api.js

在解析得到的所有JSAPI名称后,将调用方法以字符串的方式写入文件中,动态生成我们要调用的所有JSAPI的调用方法,再被html所引用即可:

动态生成的api.js文件是下图这样的:

我们的用例配置表中有n个sheet,即有n个JSAPI的用例,我们这里就自动生成这几个JSAPI的调用方法,传入的req就是我们在配置表中读到的每一行用例中的请求参数。拿到回包的res,再去校验是否与解析配置表得到的所有返回参数一致。

2.6使用Node.js+模版字符串动态生成测试用例

Mocha是JavaScript的自动化测试框架,既可以运行在nodejs环境中,也可以运行在浏览器环境中。如下图,通过调用mocha.setup(‘bdd’),开启 Mocha 的测试功能(testing helpers)。然后,加载需要的测试项和相应测试的文件。最后,调用了 mocha.run() 执行相应测试。

下图所示部分,自动生成测试用例,也是采用解析JSAPIList的同时写test.js文件的形式。

Ps:describe:称为"测试套件"(test suite),表示一组相关的测试。它是一个函数,第一个参数是测试套件的名称,第二个参数是一个实际执行的函数。

it:称为"测试用例"(test case),表示一个单独的测试,是测试的最小单位。

所有测试用例均为动态生成,如下图:

2.7Mocha框架自动化执行测试用例集

JSAPI的测试页面已经完成了,我们需要把它放到app中才能执行。在app的彩蛋页面放一个入口,加载这个html,当打开这个html的时候,服务自动的去执行并展示结果。如图,执行12条用例,只用了0.14s。

2.8自动化效果

目前,jsapi覆盖率已达70%,用例场景171个,执行耗时1.98s,Android和iPhone两个平台发现bug16个,涉及场景共35个,必现crash2个。

三、效果分析

在h5高产的今天,JSAPI的接口自动化测试解决了手工测试低效且覆盖不完全的苦恼,该方案在复用程度上也是非常友好的高度可复用的。只需创建自己的用例配置表,修改html中JSAPI的连接方式即可。

web自动化测试计划和步骤

测试用例:前置、步骤、断言

项目周期长:功能会越来越复杂

历史功能:比较稳定
回归接口自动化测试用例覆盖率,历史功能

开发-接口自动化同步
项目-8大模块-2000左右用例数

1、熟悉业务

需求文档/手动测试/产品聊,接口自动化测试用例覆盖率了解模块之间的关系/测试人员

项目目前在测试的阶段,棘手的问题

2、分析

系统当中哪些模块适合自动化、哪些模块不适合

历史功能稳定性、功能复杂性

核心模块

使用频率模块,哪一个模块bug率目前偏高

测试团队、产品  开会讨论

筛选2个模块   400个功能测试用例

如果是接口   ---接口有多少个,每个接口有多少个用例

3、功能测试   ---筛选自动化测试用例----核心功能、主流程、主功能点---140

用例评审===

4、自动化计划

自动化类型:web/接口

框架选型:

团队人员:

搭框架、定规范

时间规划:用例编写时间2个半月

效果:覆盖率是多少---用例通过率---跟项目测试进度结合 关于接口自动化测试用例覆盖率和自动化接口测试难点的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 接口自动化测试用例覆盖率的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于自动化接口测试难点、接口自动化测试用例覆盖率的信息别忘了在本站进行查找喔。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:使用Spring事件机制实现异步的方法
下一篇:vue自定义一个v
相关文章

 发表评论

暂时没有评论,来抢沙发吧~