自动化接口测试CICD(自动化接口测试和自动化功能测试的区别)

网友投稿 1080 2023-01-10


本篇文章给大家谈谈自动化接口测试CICD,以及自动化接口测试和自动化功能测试的区别对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 今天给各位分享自动化接口测试CICD的知识,其中也会对自动化接口测试和自动化功能测试的区别进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

cicd是什么意思

CI/CD 是一种通过在应用开发阶段引入自动化来频繁向客户交付应用的方法。
CI/CD 的核心概念是持续集成、持续交付和持续部署。它是作为一个面向开发和运营团队的解决方案,主要针对在集成新代码时所引发的问题。
CI 在完成自动化接口测试CICD了构建、单元测试和集成测试这些自动化流程后,持续交付可以自动把已验证的代码发布到企业自己的存储库。持续交付旨在建立一个可随时将开发环境的功能部署到生产环境的代码库。在持续交付过程中,每个步骤都涉及到自动化接口测试CICD了测试自动化和代码发布自动化。在流程结束时,运维团队可以快速、轻松地将应用部署到生产环境中。对于一个完整、成熟的 CI/CD 管道来说,最后的阶段是持续部署。它是作为持续交付的延伸,持续部署可以自动将应用发布到生产环境。实际上,持续部署意味着开发人员对应用的改动,在编写完成后的几分钟内就能及时生效(前提是它通过了自动化测试)。这更加便于运营团队持续接收和整合用户反馈。总而言之,所有这些 CI/CD 的关联步骤,都极大地降低了应用的部署风险。

cicd与devops区别是什么?

cicd是指持续集成发布部署自动化接口测试CICD,是一套流程实现软件自动化接口测试CICD的构建测试部署自动化接口测试CICD的自动化。DevOps 就是开发(Development)、测试(QA)、运维(Operations)这三个领域的合并。虽然名字中没有体现,但是DevOps仍包括测试。

DevOps与cicd紧密相关,是理论与实践的结合,DevOps要实现人员一体化,必须要借助cicd工具来自动化整个流程。DevOps落地实施,从组织架构、设计人员、流程、人员分工、人员技能到工具,变化很大,要求很高,完全颠覆自动化接口测试CICD了现有的开发运维模式,建设风险很高。

DevOps发展介绍

可以把DevOps看作开发(软件工程)、技术运营和质量保障(QA)三者的交集。传统的软件组织将开发、IT运营和质量保障设为各自分离的部门。

在这种环境下如何采用新的开发方法(例如敏捷软件开发),这是一个重要的课题自动化接口测试CICD:按照从前的工作方式,开发和部署不需要IT支持或者QA深入的、跨部门的支持,而却需要极其紧密的多部门协作。

然而DevOps考虑的还不止是软件部署。它是一套针对这几个部门间沟通与协作问题的流程和方法。在缺乏DevOps能力的组织中,开发与运营之间存在着信息“鸿沟”──例如运营人员要求更好的可靠性和安全性,开发人员则希望基础设施响应更快。

而业务用户的需求则是更快地将更多的特性发布给最终用户使用。这种信息鸿沟就是最常出问题的地方。

敏捷交付中的自动化测试

提到敏捷交付自动化接口测试CICD,我们总会说到持续集成自动化接口测试CICD,持续交付自动化接口测试CICD,持续发布自动化接口测试CICD,即频繁地交付产品特性。而我们都知道要实现真正的持续交付,必然少不自动化接口测试CICD了两个关键要素:

只有测试不行,只有集成工具也不行,二者需合二为一,保持相同的步调,实现持续不断的质量反馈,方能实现保质地持续发布。

可以开门见山地说:Automation Test ≠ Automation Tools ≠ Continuous Test

根据我个人的项目经验,试着画了下面这个图来表达这三者的关系。

在提及自动化测试的时候,很多人会把工具的使用等同于自动化测试。自动化测试应该是一个策略性的系统工程,不只有自动化工具。像我们的产品一样,不仅要有技术语言,还要有产品架构设计。自动化测试除了工具框架,还需要考虑:

项目的技术栈,产品架构,开发流程,基础设施,可靠的测试数据,稳定干净的测试环境,如何呈现测试报告,如何工程化测试配置,测试套件等等。

有了自动化测试还不够,我们的目的是在持续交付的过程中实现快速频繁的质量反馈,我们需要持续不断地测试(Continous Testing)。实现持续测试,不仅需要团队从文化上去支持,真正做到全员对测试和质量负责,创建Devops文化氛围,打通开发-测试-运维的壁垒;还需团队从技术上去储备知识,比如云平台、虚拟化技术,容器及相应的编排技术,甚至网络知识等等。

维基百科对自动化的解释:

In software testing, test automation is the use of software separate from the software being tested to control the execution of tests and the comparison of actual outcomes with predicted outcomes.

从定义可以总结出自动化测试的两个特点:

测试,质量评估的重要手段之一,而自动化测试只是测试的一种具体实现方式而已。它能释放QA的双手和一部分大脑(这部分大脑,即know knowns),将对已知特性和既定逻辑流程的检测交由计算机来完成。而QA去做更多需要思辨能力,分析判断能力的事情。例如,通过向团队提问,来澄清需求的unknowns;通过探索产品去拓宽对产品的knowns;抑或运用经验帮助团队走出Unknown Unknowns 带来的迷局。

维基百科对持续测试的解释:

Continuous testing is the process of executing automated tests as part of the software delivery pipeline to obtain immediate feedback on the business risks associated with a software release candidate.

从这个定义可以看出,持续测试的目的即在软件交付的流水线中执行自动化测试以提供对产品质量的反馈。

想强调定义里的几个关键字:automated tests, delivery pipeline, immediate feedback, business risks.

不管多火的工具,如果不能兼容项目的技术栈和基础设施,那都无处发挥其优势,流行的不一定是适合项目的。

在写自动化之前,QA需要对项目的技术栈,开发流程,和基础设施有基本的认识和了解;另外也需要了解和掌握各个工具之间的优劣,这样才能为项目选择最匹配的自动化工具。是不是像老生常谈?但是别人告诉你的经验和自己经历的实战真的两种不同的收获。就跟蹲家看电视和去现场看演唱会的区别一样,别人的经验之谈总归是别人的,自己走过的路才是自己的。

这两年 Cypress 真的很火,去年在项目上做UI自动化测试的时候,出于好奇也想实践一把。实践出真知,Cypress本身可以通过环境变量和plugin配置代理,但是不支持socks5的代理(客观现状是项目所有资产,包括测试环境都是通过socks5的代理连接),线上环境无法访问。当时还试过将socks5的代理转换成http代理,但因为Cypress本身是多线程的,而socks5只能截获第一个进程的网络通信, 即使能连通应用本身,Cypress也无法将测试过程可视化的优势发挥出来。人无完人,工具也一样,只有适合你的才是好的。

考虑自己也不会造轮子,喜欢拿来就用,加之项目上socks5代理约束,之后便转用了CodeceptJS, 几次尝试下来,觉得非常满足项目需要。下面罗列CodeceptJS 几个好用的点,具体细节请移步 官网 。

由于团队有完全的自由来选择技术栈,在做第三个产品的时候, 我们的开发小哥哥就已经不满足于只写REST API了,第三个产品开始引入GraphQL。在以前的项目上用过REST Assured 做API测试,觉得也是好用的,但当时并没有选用REST Assured, 因为在那时,刚好发现一枚ThouhgtWorks开发自己做的API功能测试工具 Pandaria 。(这也从侧面证明TW的开发很有质量意识)选择这个工具,除了自己不会造轮子,除了它支持代理,更重要的是它基于Cucumber JVM,我个人以前的项目上用过cucumber,对gherkin语法还算熟悉,还有它能提供漂亮的测试报告。它既支持REST API的测试,也支持GraphQL 的测试,完美匹配我个人的技术和项目的实际情况。

在项目做第一个规范安全流程的产品时,MVP1(Minimum Viable Product) 一完成,该产品的接口自动化测试和端到端自动化测试便实现了,并集成到了产品CI/ CD 流水线上。后来由于客户方硬件集成的问题,该产品基于MVP1进行了一次演进,从产品直接融入并规范安全流程换成了‘曲线救国’地强化安全流程,页面和接口设计也有较大变动。由于产品流程设计上的变动导致之前的接口测试和端到端的自动化测试全部都失效,需要重新编写和维护。

这个经历挺真实的,自动化是有好处,但是也是有代价的: 在MVP1,特别是POC(Proof Of Concept)阶段的产品建议不要急于做自动化,项目的初期更别尝试做UI层面的自动化。当然对工具的spike是可以的,把框架搭建好,等待特性稳定了,就可以直接加测试用例了。

我们选择自动化一定是要考虑项目是否存在客观的现实需求,在动手实施具体的自动化测试之前,一定要对自动化测试的投入产出比做一次客观理性地评估。如上图所示,自动化测试的成本相对单次(或者少量的)手动测试来说是较高的,为了少量的测试活动而做自动化,投入产出比是很低的。需要QA根据项目进度,产品演进程度,测试策略,回归频率等等做一个综合评估,找到出图中交集的点,即何时何种情况团队和产品应该必须引入自动化测试了。因为自动化前期需要投入产品分析,工具框架选型,用例设计,数据环境准备等等,后期还需要持续不断地投入人力进行及时的维护和更新以保证自动化测试的严密性和足够的覆盖率。

虽然敏捷强调质量全员负责,但我所待过的团队,做过的项目,践行得好的很少。幸运的是,现在团队的质量意识都很好。但故事一开始不都是美好的,每个团队都是在 “掉坑-反馈-调整磨合” 的循环里走向成熟的。

在交付一个微服务化的产品时,后端多个API,每个API有相应的API集成测试,产品还有UI测试,同时团队还有额外的3个产品需要维护。每个产品都有自动化测试,前端的后端的。其中一个微服务实现的产品就有四套测试,而且后续还会增加视觉测试。

在刚开始的时候,测试挂了没人去看,也没人去修。由于项目是基于 Trunk Based Development ,为了保证测试的及时性,每天不是在加新用例的路上,就是在修各种测试的路上。UI测试相较于API测试更为脆弱,需要频繁的维护成本,特别是项目基于主干开发的团队。那段时间感觉自己成了automation engineer,对产品新增的功能特性并不是非常清楚,对故事卡的可测性也没及时作出反馈,感觉自动化并未真的达到释放自己精力和时间的初衷。

如果只是QA一个人来维护管理,那么这个QA一定做不了自动化以外的事情了。ThoughtWorks好多项目都只有一个QA,我们的这个QA是Quality Analyst, 并不是Automation Engineer。敏捷项目之下,QA的首要任务应该是驱动团队各个角色对质量负责。

为了提升团队对自动化测试的重视程度, 如下是一些我个人在项目上实践过的方法:

除了以上,项目还需要有高度可视化或者能及时通知测试状态的方式。

项目上用的是Jenkins自带的 Build Monitor View。将对项目pipeline的监控投影到电视上,并配置相应的提示音,能非常及时地让团队知道最新的构建,部署,测试状态。

如下是我们项目上当前的一个流水线dashboard:

这些实践都是对‘质量全员负责’最落地的践行。我相信,每个团队是不一样的,但是敏捷QA的主要价值一定是能驱动团队为质量作出改进和贡献。

敏捷QA是对项目流程质量,产品内部质量,产品外部质量都需要负责的,而自动化测试只是质量保证的一种措施而已而非唯一措施。‘质量全员负责’的团队才能释放出你们的QA,去做更多Quality Analysis的工作,比如提更多需要思辨能力的问题以实现产品风险的识别和管理,反思开发流程以促进团队流程质量的提升,分析产品架构制定适合项目产品的整体测试策略等等。

在项目上做自动化集成到流水线的时候,有遇到一些常见的在云容器里运行测试会遇到的问题。

1)测试工具相关的

虽然很多问题都是可以从网上找到答案,但是在解决问题的时候,通常需要我们了解工具框架的工作原理,否则连搜索关键字可能都憋不出来。

2)测试报告可视化相关的

测试报告对于我们快速定位失败根因有很大的帮助,好的测试报告可以直接揭示问题的根源。在云端运行测试,我们通常希望测试工具能输出可读性强的测试报告以方便非技术人员阅读,也希望测试工具能把运行过程的细节打印在console里,以方便技术人员定位根因。

像前面提到的CodeceptJS它就提供多种不同形态的运行,并且可以运用Mocha生成各种类型的测试报告。目前市面上的测试工具,都会有对第三方库的依赖,特别是前端测试框架和工具,这个对QA或者团队的技术宽度是有一定要求的。

另外Jenkins有非常丰富的插件库,在选择测试工具的时候可以把是否有Jenkins报告可视化支持考虑进去。QA需要对Jenkins和测试工具都相当熟悉,还需要知道如何通过将某一测试工具生成的某种格式的测试报告集成在Jenkins上以方便一键获取测试报告。
像cucumber的测试报告插件:

像Allure的测试报告插件:

有了这些插件的辅助,在流水线上就一键可得测试报告,为‘质量团队负责’提供了很好的契机。

3) Pipeline as Code, 想要集成测试到流水线,不可避免是需要一些DevOps相关知识的

也许项目的需求是如何通过Jenkinsfile 并行运行各种测试,也许是通过Jenkinsfile传递测试相关参数以为云上运行测试所用,还也许你需要在Jenkinsfile里添加调试信息用以线上调试,等等。

云上运行,我们还要学会如何在一个slave 上优雅地管理运行测试的容器,不出现容器占用,slave内存不足,测试失败之后报告不可得等等问题。

所以只会自动化工具不够,只有自动化测试也不够。如果你们团队开发们没有DevOps的经验,或者他们忙于特性开发,上线冲刺,那么QA必须对Docker,Kubernetes 基本命令和用法有些了解。QA就是一个不分前后端,不挑技术栈,需要持续不断学习的角色。

会自动化工具算是有了织网的道具,有自动化测试资产算是编出了能捞鱼的网,而持续测试才能真正地实现持续交付,才算是把一张张过滤不同缺陷的网放置于了不断提交变更的交付之流中。

只有网而无法至于河里,或者不知道于何处放置,那就只能站于岸边时时撒网捕鱼,不够及时,也不算释放了捕鱼人 (QA和团队) 。

我们期望的是,各种不同的网 (自动化测试资产) ,置于不同的河段( 软件产品不同层级:函数级别?组件级别?接口级别?系统级别?) ,过滤不同的鱼 (缺陷) ,而不管是谁 (团队的所有角色) 都可以去确认有没有捞着鱼 (测试挂了吗?为什么挂?我们对目前的变更有足够的信心吗?) ,也需要所有人时时确认我们的渔网是不是破了? (测试覆盖率不够?断言不严谨?测试用例过时?) 。

软件交付是一项团队工作,即便自动化测试也一样需要全员协作。

文/ThoughtWorks郭泰瑜

cicd与devops 区别是什么?

cicd(Continuous Integration持续集成和Continuous Delivery持续交付)是指持续集成发布部署,是一套流程实现软件的构建测试部署的自动化。

DevOps是一种思想,是一种文化,主要强调软件开发测试运维的一体化,目标是减少各个部门之间的沟通成本从而实现软件的快速高质量的发布。

什么是CI CD

持续集成

在传统软件开发过程中,集成通常发生在每个人都完成了各自的工作之后,所谓集成,可以理解为团队里的大家完成自己负责的模块后,将各个子模块集成为一个可以完成整体功能的完整模块。

在项目尾声阶段,通常集成还要痛苦的花费数周或者数月的时间来完成。持续集成是一个将集成提前至开发周期的早期阶段的实践方式,让构建、测试和集成代码更经常反复地发生。

为了实现持续集成,我们每个人都要单元测试(unit test),保证各个子模块的正常工作。

持续交付

持续交付是持续集成的延伸,将集成后的代码部署到类生产环境,确保可以以可持续的方式快速向客户发布新的更改。我们把代码部署到测试环境,预发布环境等等类生产环境成为交付。

持续部署

如果真的想获得持续交付的好处,应该尽早部署到生产环境,以确保可以小批次发布,在发生问题时可以轻松排除故障。于是有了持续部署。

我们通常将这个在不同环境发布和测试的过程叫做部署流水线

持续部署是在持续交付的基础上,把部署到生产环境的过程自动化。

常用的自动化测试工具有哪些

1、Appium
AppUI自动化测试
Appium 是一个移动端自动化测试 开源工具,支持iOS 和Android 平台,支持Python、Java 等语言,即同一套Java 或Python 脚本可以同时运行在iOS 和Android平台,Appium 是一个C/S 架构,核心是一个 Web 服务器,它提供了一套 REST 的接口。当收到客户端的连接后,就会监听到命令,然后在移动设备上执行这些命令,最后将执行结果放在 HTTP 响应中返还给客户端。
2、Selenium
WebUI自动化测试
Selenium是一个用于Web应用程序测试的工具,Selenium已经成为Web自动化测试工程师的首选。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。Selenium 是ThoughtWorks专门为Web应用程序编写的一个验收测试工具。其升级版本为Webdriver。
3、Postman
接口测试
Postman 提供功能强大的 Web API 和 HTTP 请求的调试,它能够发送任何类型的HTTP 请求 (GET, POST, PUT, DELETE…),并且能附带任何数量的参数和 Headers。不仅如此,它还提供测试数据和环境配置数据的导入导出,付费的 Post Cloud 用户还能够创建自己的 Team Library 用来团队协作式的测试,并能够将自己的测试收藏夹和用例数据分享给团队。
4.Robot Framework
Robot Framework是一个开源自动化框架,它实现了用于验收测试和验收测试驱动开发(ATDD)的关键字驱动方法。 Robot Framework为不同的测试自动化需求提供框架。 但是,通过使用Python和Java实现其他测试库,可以进一步扩展其测试功能。 Selenium WebDriver是Robot Framework中常用的外部库。
测试工程师可以利用Robot Framework作为自动化框架,不仅可以进行Web测试,还可以用于Android和iOS测试自动化。 对于熟悉关键字驱动测试的测试人员,可以轻松学习Robot Framework。
5、Soapui
接口测试
SoapUI提供了所有所需的工具来测试和完善的测试。总览标签给你一个项目的所有内容和全面的看法。只需一次点击,您可以添加任何数量的断言为验证传入的消息TestStep。使用功能强大的HTTP监视器记录,分析甚至修改客户机 - 服务器通信,因为它发生。和SoapUI临带来了更专业和先进的功能,保持遥遥领先其他测试工具。轻松创建和运行数据驱动测试。该数据源TestStep读取测试数据从任何外部来源 - Excel中,XML,JDBC,文件,等等 - 到标准SoapUI属性。
针对上面的自动化测试工具,每一个都有自己优势的功能,随着计算机行业的发展,自动化测试工具会越来越多,越来越完善。

接口自动化测试怎么做的

了解了接口测试是什么之后,怎么做接口测试呢?接口测试的流程其实和功能测试流程类似:接口测试计划-接口测试用例-接口测试执行-接口测试报告。测试用例设计的依赖对象主要是需求说明书和接口文档。
接口测试因其不是针对普通用户,而是针对的另外一个系统组件,所以不能直接测试,需要使用工具测试,比如服务端http接口测试,常用的工具有jmeter、postman、httpclient等。用工具测试,所以目标就是准备要测试数据测试脚本后直接执行即可, 在进行测试执行编写时,有如下的原则:
1.不同的接口参数覆盖不同的业务场景;
2.在后台构造合适的数据来满足接口的测试用例;
3.根据接口的返回值,断言其是否返回期望结果,并查看数据库验证;
4.测试用例涉及多个步骤的,应对涉及的步骤都验证;
5.删除测试过程中产生的结果,确保每个用例执行前都是一个清洁的环境 关于自动化接口测试CICD和自动化接口测试和自动化功能测试的区别的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 自动化接口测试CICD的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于自动化接口测试和自动化功能测试的区别、自动化接口测试CICD的信息别忘了在本站进行查找喔。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:转 接口测试用例设计(接口测试的案例怎么设计的)
下一篇:微服务网关推荐(微服务网关的功能有哪些)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~