接口自动化测试效果评估（接口自动化测试效果评估）

本篇文章给大家谈谈接口自动化测试效果评估，以及接口自动化测试效果评估对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享接口自动化测试效果评估的知识，其中也会对接口自动化测试效果评估进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、我眼中的接口测试和接口自动化测试
• 2、接口测试质量评估标准？
• 3、如何评估自动化测试的产出和效果
• 4、敏捷交付中的自动化测试
• 5、自动化测试难点解析：如何降低误报率？

我眼中的接口测试和接口自动化测试

接口测试接口自动化测试效果评估的目的是为了增加测试覆盖度、深入度 接口自动化测试效果评估，对接口的各个参数做实际场景中很难遇到的异常场景的测试接口自动化测试效果评估，保证接口的稳定性。如果在这个前提下接口测试还是没有发现 bug接口自动化测试效果评估，那么可以 review 下历次迭代中是不是业务测试发现的所有 bug 都是前端的。如果是，那么说明接口自动化测试效果评估你们的后端开发工程师能力实在很强，应该恭喜你们遇到了这么给力的队友。在测试压力很大的情况下就可以酌情考虑不做接口测试，前端测试完成就上线了。

如果不是那就应该 review 你们的接口测试用例了。是不是用例设计的还不如业务测试全面？是不是用例设计的时候默认按照正常的取值范围？按照正常的业务逻辑进行的用例设计导致用例的覆盖还不如业务直接黑盒测出来的覆盖全。

自动化测试的主要目的不是发现多少 bug ，而是为了快速对接口做回归、做线上监控等，避免接口出现了低级问题、阻碍问题但是大家不能第一时间知道，等过了很长时间线上出了强反馈或者在错误接口的基础上又做了很多开发才被大家发现。当然，在接口自动化的基础上再做压力测试、稳定性测试等也会更方便。在这个前提下再评估接口自动化测试是否有必要，思路就会清楚一些。

整体上测试是为了保证业务中的 bug 能够在有限的资源下最大量、最快速的发现，业务实际情况不同、测试团队规模不同、测试与业务的合作模式、测试团队成员的技术能力等等都会影响测试方案的制定。

个人觉得如果团队有专人做接口测试，这种情况下接口测试定位到用来发现更多 bug 是没有问题的，如果没有发现 bug 那就需要仔细找找接口测试用例设计的问题。接口测试的目的不是取代业务测试，而是减少业务测试遇到阻碍问题的概率以及减轻业务测试模拟异常场景的工作量。接口自动化测试的目的是在回归场景节约业务测试的工作量，在新业务测试中实际反倒会占用更多的测试资源。

以上是作者拉拉肥对接口测试以及接口自动化测试的理解。你怎么看？欢迎点击 原文链接 在原帖共同讨论。

接口测试质量评估标准？

1.业务功能覆盖是否完整
2. 业务规则覆盖是否完整
3. 参数验证是否达到要求（边界、业务规则）
4. 接口异常场景覆盖是否完整
5. 接口覆盖率是否达到要求
6.代码覆盖率是否达到要求
7. 性能指标是否满足要求
8. 安全指标是否满足要求
评估标准就是以上几点，这是我在黑马程序员学习软件测试的时候老师讲解的，分享给你！

如何评估自动化测试的产出和效果

上市效果评估体系（In-MarketMappingTM）是以消费者行为学理论为核心，针对产品上市效果评估研发的研究技术整合模型，该模型能系统评估产品和各营销元素的市场表现，发现各营销步骤中存在的问题，并提出改进策略。该体系涵盖的具体研究技术包括：使用和态度研究、广告效果研究和促销效果研究。一个完整的消费行为要经历这样的几个阶段：认知—购买—使用—评价—重复购买。可以通过UA研究了解产品在这个过程中的表现对产品上市效果进行评估。对于一个产品，评估的周期可以划分为上市后1个月，上市后3个月，上市后6个月，上市后1年，上市后逐年评估，不同周期的评估也可以监测到产品上市后的发展状况：

敏捷交付中的自动化测试

提到敏捷交付，我们总会说到持续集成，持续交付，持续发布，即频繁地交付产品特性。而我们都知道要实现真正的持续交付，必然少不了两个关键要素：

只有测试不行，只有集成工具也不行，二者需合二为一，保持相同的步调，实现持续不断的质量反馈，方能实现保质地持续发布。

可以开门见山地说：Automation Test ≠ Automation Tools ≠ Continuous Test

根据我个人的项目经验，试着画了下面这个图来表达这三者的关系。

在提及自动化测试的时候，很多人会把工具的使用等同于自动化测试。自动化测试应该是一个策略性的系统工程，不只有自动化工具。像我们的产品一样，不仅要有技术语言，还要有产品架构设计。自动化测试除了工具框架，还需要考虑：

项目的技术栈，产品架构，开发流程，基础设施，可靠的测试数据，稳定干净的测试环境，如何呈现测试报告，如何工程化测试配置，测试套件等等。

有了自动化测试还不够，我们的目的是在持续交付的过程中实现快速频繁的质量反馈，我们需要持续不断地测试（Continous Testing)。实现持续测试，不仅需要团队从文化上去支持，真正做到全员对测试和质量负责，创建Devops文化氛围，打通开发-测试-运维的壁垒；还需团队从技术上去储备知识，比如云平台、虚拟化技术，容器及相应的编排技术，甚至网络知识等等。

维基百科对自动化的解释：

In software testing, test automation is the use of software separate from the software being tested to control the execution of tests and the comparison of actual outcomes with predicted outcomes.

从定义可以总结出自动化测试的两个特点：

测试，质量评估的重要手段之一，而自动化测试只是测试的一种具体实现方式而已。它能释放QA的双手和一部分大脑（这部分大脑，即know knowns），将对已知特性和既定逻辑流程的检测交由计算机来完成。而QA去做更多需要思辨能力，分析判断能力的事情。例如，通过向团队提问，来澄清需求的unknowns；通过探索产品去拓宽对产品的knowns；抑或运用经验帮助团队走出Unknown Unknowns 带来的迷局。

维基百科对持续测试的解释：

Continuous testing is the process of executing automated tests as part of the software delivery pipeline to obtain immediate feedback on the business risks associated with a software release candidate.

从这个定义可以看出，持续测试的目的即在软件交付的流水线中执行自动化测试以提供对产品质量的反馈。

想强调定义里的几个关键字：automated tests, delivery pipeline, immediate feedback, business risks.

不管多火的工具，如果不能兼容项目的技术栈和基础设施，那都无处发挥其优势，流行的不一定是适合项目的。

在写自动化之前，QA需要对项目的技术栈，开发流程，和基础设施有基本的认识和了解；另外也需要了解和掌握各个工具之间的优劣，这样才能为项目选择最匹配的自动化工具。是不是像老生常谈？但是别人告诉你的经验和自己经历的实战真的两种不同的收获。就跟蹲家看电视和去现场看演唱会的区别一样，别人的经验之谈总归是别人的，自己走过的路才是自己的。

这两年 Cypress 真的很火，去年在项目上做UI自动化测试的时候，出于好奇也想实践一把。实践出真知，Cypress本身可以通过环境变量和plugin配置代理，但是不支持socks5的代理（客观现状是项目所有资产，包括测试环境都是通过socks5的代理连接），线上环境无法访问。当时还试过将socks5的代理转换成http代理，但因为Cypress本身是多线程的，而socks5只能截获第一个进程的网络通信， 即使能连通应用本身，Cypress也无法将测试过程可视化的优势发挥出来。人无完人，工具也一样，只有适合你的才是好的。

考虑自己也不会造轮子，喜欢拿来就用，加之项目上socks5代理约束，之后便转用了CodeceptJS, 几次尝试下来，觉得非常满足项目需要。下面罗列CodeceptJS 几个好用的点，具体细节请移步 官网 。

由于团队有完全的自由来选择技术栈，在做第三个产品的时候， 我们的开发小哥哥就已经不满足于只写REST API了，第三个产品开始引入GraphQL。在以前的项目上用过REST Assured 做API测试，觉得也是好用的，但当时并没有选用REST Assured, 因为在那时，刚好发现一枚ThouhgtWorks开发自己做的API功能测试工具 Pandaria 。（这也从侧面证明TW的开发很有质量意识）选择这个工具，除了自己不会造轮子，除了它支持代理，更重要的是它基于Cucumber JVM，我个人以前的项目上用过cucumber，对gherkin语法还算熟悉，还有它能提供漂亮的测试报告。它既支持REST API的测试，也支持GraphQL 的测试，完美匹配我个人的技术和项目的实际情况。

在项目做第一个规范安全流程的产品时，MVP1(Minimum Viable Product) 一完成，该产品的接口自动化测试和端到端自动化测试便实现了，并集成到了产品CI/ CD 流水线上。后来由于客户方硬件集成的问题，该产品基于MVP1进行了一次演进，从产品直接融入并规范安全流程换成了‘曲线救国’地强化安全流程，页面和接口设计也有较大变动。由于产品流程设计上的变动导致之前的接口测试和端到端的自动化测试全部都失效，需要重新编写和维护。

这个经历挺真实的，自动化是有好处，但是也是有代价的： 在MVP1，特别是POC（Proof Of Concept)阶段的产品建议不要急于做自动化，项目的初期更别尝试做UI层面的自动化。当然对工具的spike是可以的，把框架搭建好，等待特性稳定了，就可以直接加测试用例了。

我们选择自动化一定是要考虑项目是否存在客观的现实需求，在动手实施具体的自动化测试之前，一定要对自动化测试的投入产出比做一次客观理性地评估。如上图所示，自动化测试的成本相对单次（或者少量的）手动测试来说是较高的，为了少量的测试活动而做自动化，投入产出比是很低的。需要QA根据项目进度，产品演进程度，测试策略，回归频率等等做一个综合评估，找到出图中交集的点，即何时何种情况团队和产品应该必须引入自动化测试了。因为自动化前期需要投入产品分析，工具框架选型，用例设计，数据环境准备等等，后期还需要持续不断地投入人力进行及时的维护和更新以保证自动化测试的严密性和足够的覆盖率。

虽然敏捷强调质量全员负责，但我所待过的团队，做过的项目，践行得好的很少。幸运的是，现在团队的质量意识都很好。但故事一开始不都是美好的，每个团队都是在 “掉坑-反馈-调整磨合” 的循环里走向成熟的。

在交付一个微服务化的产品时，后端多个API，每个API有相应的API集成测试，产品还有UI测试，同时团队还有额外的3个产品需要维护。每个产品都有自动化测试，前端的后端的。其中一个微服务实现的产品就有四套测试，而且后续还会增加视觉测试。

在刚开始的时候，测试挂了没人去看，也没人去修。由于项目是基于 Trunk Based Development ，为了保证测试的及时性，每天不是在加新用例的路上，就是在修各种测试的路上。UI测试相较于API测试更为脆弱，需要频繁的维护成本，特别是项目基于主干开发的团队。那段时间感觉自己成了automation engineer，对产品新增的功能特性并不是非常清楚，对故事卡的可测性也没及时作出反馈，感觉自动化并未真的达到释放自己精力和时间的初衷。

如果只是QA一个人来维护管理，那么这个QA一定做不了自动化以外的事情了。ThoughtWorks好多项目都只有一个QA，我们的这个QA是Quality Analyst， 并不是Automation Engineer。敏捷项目之下，QA的首要任务应该是驱动团队各个角色对质量负责。

为了提升团队对自动化测试的重视程度， 如下是一些我个人在项目上实践过的方法：

除了以上，项目还需要有高度可视化或者能及时通知测试状态的方式。

项目上用的是Jenkins自带的 Build Monitor View。将对项目pipeline的监控投影到电视上，并配置相应的提示音，能非常及时地让团队知道最新的构建，部署，测试状态。

如下是我们项目上当前的一个流水线dashboard：

这些实践都是对‘质量全员负责’最落地的践行。我相信，每个团队是不一样的，但是敏捷QA的主要价值一定是能驱动团队为质量作出改进和贡献。

敏捷QA是对项目流程质量，产品内部质量，产品外部质量都需要负责的，而自动化测试只是质量保证的一种措施而已而非唯一措施。‘质量全员负责’的团队才能释放出你们的QA，去做更多Quality Analysis的工作，比如提更多需要思辨能力的问题以实现产品风险的识别和管理，反思开发流程以促进团队流程质量的提升，分析产品架构制定适合项目产品的整体测试策略等等。

在项目上做自动化集成到流水线的时候，有遇到一些常见的在云容器里运行测试会遇到的问题。

1）测试工具相关的

虽然很多问题都是可以从网上找到答案，但是在解决问题的时候，通常需要我们了解工具框架的工作原理，否则连搜索关键字可能都憋不出来。

2）测试报告可视化相关的

测试报告对于我们快速定位失败根因有很大的帮助，好的测试报告可以直接揭示问题的根源。在云端运行测试，我们通常希望测试工具能输出可读性强的测试报告以方便非技术人员阅读，也希望测试工具能把运行过程的细节打印在console里，以方便技术人员定位根因。

像前面提到的CodeceptJS它就提供多种不同形态的运行，并且可以运用Mocha生成各种类型的测试报告。目前市面上的测试工具，都会有对第三方库的依赖，特别是前端测试框架和工具，这个对QA或者团队的技术宽度是有一定要求的。

另外Jenkins有非常丰富的插件库，在选择测试工具的时候可以把是否有Jenkins报告可视化支持考虑进去。QA需要对Jenkins和测试工具都相当熟悉，还需要知道如何通过将某一测试工具生成的某种格式的测试报告集成在Jenkins上以方便一键获取测试报告。
像cucumber的测试报告插件：

像Allure的测试报告插件：

有了这些插件的辅助，在流水线上就一键可得测试报告，为‘质量团队负责’提供了很好的契机。

3） Pipeline as Code, 想要集成测试到流水线，不可避免是需要一些DevOps相关知识的

也许项目的需求是如何通过Jenkinsfile 并行运行各种测试，也许是通过Jenkinsfile传递测试相关参数以为云上运行测试所用，还也许你需要在Jenkinsfile里添加调试信息用以线上调试，等等。

云上运行，我们还要学会如何在一个slave 上优雅地管理运行测试的容器，不出现容器占用，slave内存不足，测试失败之后报告不可得等等问题。

所以只会自动化工具不够，只有自动化测试也不够。如果你们团队开发们没有DevOps的经验，或者他们忙于特性开发，上线冲刺，那么QA必须对Docker，Kubernetes 基本命令和用法有些了解。QA就是一个不分前后端，不挑技术栈，需要持续不断学习的角色。

会自动化工具算是有了织网的道具，有自动化测试资产算是编出了能捞鱼的网，而持续测试才能真正地实现持续交付，才算是把一张张过滤不同缺陷的网放置于了不断提交变更的交付之流中。

只有网而无法至于河里，或者不知道于何处放置，那就只能站于岸边时时撒网捕鱼，不够及时，也不算释放了捕鱼人 （QA和团队) 。

我们期望的是，各种不同的网 （自动化测试资产） ，置于不同的河段（ 软件产品不同层级：函数级别？组件级别？接口级别？系统级别？） ，过滤不同的鱼 （缺陷） ，而不管是谁 （团队的所有角色） 都可以去确认有没有捞着鱼 （测试挂了吗？为什么挂？我们对目前的变更有足够的信心吗？） ，也需要所有人时时确认我们的渔网是不是破了？ （测试覆盖率不够？断言不严谨？测试用例过时？） 。

软件交付是一项团队工作，即便自动化测试也一样需要全员协作。

文/ThoughtWorks郭泰瑜

自动化测试难点解析：如何降低误报率？

随着自动化测试的深入推进，通过自动化测试运行的案例数量越来越多，执行错误全部由人工分析的方式已经不能满足接口自动化测试结果的分析需求。本文介绍一种基于缺陷知识库的接口自动化测试结果分析方法，通过接口测试结果模型化方法和基于错误码库、非缺陷知识库的错误归类分析方法，辅助测试人员高效实施大规模、多系统的接口自动化测试结果分析处理，降低自动化测试的误报率。

一、接口测试结果模型化
首先，我们需要将接口自动化测试的结果模型化，模型信息包括结果标志、错误码、错误信息和返回信息。在接口测试的过程中，从通讯级到应用级提取该模型数据，方法如下：

1、在平台执行接口测试的过程中，若出现任何程序未处理的内部异常，则结果标志为I，此时错误码、错误信息和返回信息均为空。

2、在常见的http通讯、tcp通讯、webservice通讯等通讯方法中，若无法正常通讯并获得预期的返回报文，则认为在通讯级发生异常，结果标志为U，此时错误码、错误信息均为空，通讯异常的返回信息存储在返回报文中。

3、在能够正常获取返回报文的情况下，被测系统往往会返回应用级处理是否正确的信息。若应用级处理错误，则还会返回错误码和错误信息。

（1）若应用级处理正确，则结果标志为N，此时错误码、错误信息均为空，返回信息存储返回报文。

（2）若应用级处理错误，则结果标志为E，错误码、错误信息存储在返回报文中，返回信息存储在返回报文中。

（3）为保障资金安全，重要金融交易一般存在双人复核或者远程授权的过程。如缺乏授权信息，被测系统将返回“需要授权”的信息，则结果标志为A，错误码、错误信息均为空，返回信息存储在返回报文中。

4、在实际实施组织级接口测试覆盖时，一些存量系统未在公有域特定字段返回应用级处理结果。此时，自动化测试平台将进行通讯级结果判断，若正常通讯并获得预期的返回报文，则结果标志为N，此时错误码、错误信息均为空，返回信息存储在返回报文中。

二、基于错误码库、非缺陷知识库的错误归类分析方法
基于接口测试结果的模型化数据，可以通过建立错误码库和非缺陷知识库，对大规模接口回归测试的结果进一步分类、分析。对于被测应用系统，可以由用户在自动化测试平台建立错误码库，对标志为E的接口测试结果，通过以下三种匹配方式进行细分：

1、精确匹配：对于有固定错误码和错误信息的应用系统，可以采用精准匹配方式，完成错误码库与接口测试结果模型的匹配。

2、错误码模糊匹配：适用于能够从固定字段输出错误信息，但没有固定字段返回错误码或者错误码定义不规范（如错误码是中文信息）的被测系统。此类系统错误码和错误信息由测试人员自行定义，每类错误码需设计匹配表达式，通过正则匹配的方式实现错误归类。

3、返回报文模糊匹配：适用于返回错误信息无固定字段的被测系统。此类系统错误码和错误信息由测试人员自行定义，每类错误码也需对应设计对应的匹配表达式。

在接口测试中，由于被测系统配置错误、被测系统铺底数据异常等问题而出现的错误并非本次测试结果中需重点关注的内容。对于此类错误，将错误码库中的对应错误条目增加标志位，即可纳入非缺陷知识库。

三、接口测试结果归类分析方法
基于接口测试结果模型化和错误码库、非缺陷知识库，将接口测试的结果分类分析，输出概要表和错误分类表。

概要表如下：

执行错误的交易将进一步处理为错误明细表，如下：

利用该分析结果，测试人员可重点关注结果类型为“执行错误”的分类，确认为缺陷的应提交给开发人员修复。对于“执行错误非缺陷”的分类，则往往不是被测系统自身缺陷导致的报错。通过这种方法，为测试人员提供“智能”分析结果，辅助测试人员快速完成对自动化测试结果的判断和分析。 关于接口自动化测试效果评估和接口自动化测试效果评估的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 接口自动化测试效果评估的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于接口自动化测试效果评估、接口自动化测试效果评估的信息别忘了在本站进行查找喔。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。