29、OSPF配置实验之被动接口
333
2023-01-27
本文目录一览:
接口 :外部系统与本系统之间以及系统内部的各个子系统间,以约定标准提供的服务,包括对外提供的接口/对内提供的接口。
在这块我们举一个比较生活化的例子,我们平常使用的笔记本,在笔记本的两端有很多小插口,最常见的就是USB插口,我们可以把鼠标连接在USB插口上,也可以把键盘、U盘连接在USB插口上,为什么同一个USB接口可以连接这么多设备呢,其实这个接口,他就有一个统一对外的连接标准。
在我们开发当中,也有一个对外暴露的接口,因为他们服务的协议都是统一的,最常见的就是hhtp协议,我们规定好一种格式,让客户端来调用我们。
这里面键盘鼠标属于调用方,插到笔记本的USB上,就可以连接设备,就可以进行操作了。对外暴露的一个统一的一个规范,这样去理解接口,更形象一些。
在了解完什么是接口之后,我们来说一下什么是接口测试。
接口测试 测试系统组件间接口的一种测试。接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。测试的重点是要检查数据的交换,传递和控制管理过程,以及系统间的相互逻辑依赖关系等,保证对外提供接口的正确性和健壮性。
我们在具体测试过程中,我们不用关心接口调用方和接收方的实现逻辑,我们只需要知道传入什么数据,返回什么的结果是否达到我们的预期。接口测试其实也是黑盒测试,他与UI测试的区别就是没有界面交互,是不可视化的。
测试前置 :我们不能等到整个系统全部开发完成才能进行测试,我们可以通过调用接口来进行测试,把问题拦截在前期,降低问题修复成本。
Bug更容易定位 :因为我们按接口进行测试,出现问题后在被测接口中排查就可以了,它比系统集成之后,发现问题更容易定位,系统集成之后有各种模块的调用,出现bug之后再排查,排查的链路非常的长。另外从机制上更接近出问题的地方更容易命中问题。
前后端分离结构 :现在很多系统都采用前后端分离架构,各服务之间更多的是通过接口来实现信息互通,对接口进行直接测试,可以更全面的覆盖各类测试场景。
自动化测试落地性价比高 :比UI自动化测试更稳定,我们上面已经说了UI层的元素时常发生变化,有时改一个简单的元素,都有可能导致我们的自动化测试走不下去,写一套自动化测试脚本比较容易的,但是维护起来,会耗费很大的时间精力,相对来说,接口就比较稳定,一个项目没有大的改造,入参和出参就是固定的,变化的概率比较小,这样维护起来也比较方便。
减少安全隐患 :比如我们在平常的测试过程中,测试用户名和密码,密码格式要求不能输入特殊字符,前端做了校验,而后端没有处理,这样我们只测试页面,这条case就默认通过了,但一些黑客可能通过抓包的方式进行登录,这样安全隐患就比较大了。我们对接口进行安全测试,可以避免安全隐患。
借助工具 : Postman、Jmeter、jsf平台、jsf测试工具、easytest
编写测试脚本 :Java+TestNG
请关注下一篇如何使用Java+TestNG进行接口自动化测试
提到敏捷交付,我们总会说到持续集成,持续交付,持续发布,即频繁地交付产品特性。而我们都知道要实现真正的持续交付,必然少不了两个关键要素:
只有测试不行,只有集成工具也不行,二者需合二为一,保持相同的步调,实现持续不断的质量反馈,方能实现保质地持续发布。
可以开门见山地说:Automation Test ≠ Automation Tools ≠ Continuous Test
根据我个人的项目经验,试着画了下面这个图来表达这三者的关系。
在提及自动化测试的时候,很多人会把工具的使用等同于自动化测试。自动化测试应该是一个策略性的系统工程,不只有自动化工具。像我们的产品一样,不仅要有技术语言,还要有产品架构设计。自动化测试除了工具框架,还需要考虑:
项目的技术栈,产品架构,开发流程,基础设施,可靠的测试数据,稳定干净的测试环境,如何呈现测试报告,如何工程化测试配置,测试套件等等。
有了自动化测试还不够,我们的目的是在持续交付的过程中实现快速频繁的质量反馈,我们需要持续不断地测试(Continous Testing)。实现持续测试,不仅需要团队从文化上去支持,真正做到全员对测试和质量负责,创建Devops文化氛围,打通开发-测试-运维的壁垒;还需团队从技术上去储备知识,比如云平台、虚拟化技术,容器及相应的编排技术,甚至网络知识等等。
维基百科对自动化的解释:
In software testing, test automation is the use of software separate from the software being tested to control the execution of tests and the comparison of actual outcomes with predicted outcomes.
从定义可以总结出自动化测试的两个特点:
测试,质量评估的重要手段之一,而自动化测试只是测试的一种具体实现方式而已。它能释放QA的双手和一部分大脑(这部分大脑,即know knowns),将对已知特性和既定逻辑流程的检测交由计算机来完成。而QA去做更多需要思辨能力,分析判断能力的事情。例如,通过向团队提问,来澄清需求的unknowns;通过探索产品去拓宽对产品的knowns;抑或运用经验帮助团队走出Unknown Unknowns 带来的迷局。
维基百科对持续测试的解释:
Continuous testing is the process of executing automated tests as part of the software delivery pipeline to obtain immediate feedback on the business risks associated with a software release candidate.
从这个定义可以看出,持续测试的目的即在软件交付的流水线中执行自动化测试以提供对产品质量的反馈。
想强调定义里的几个关键字:automated tests, delivery pipeline, immediate feedback, business risks.
不管多火的工具,如果不能兼容项目的技术栈和基础设施,那都无处发挥其优势,流行的不一定是适合项目的。
在写自动化之前,QA需要对项目的技术栈,开发流程,和基础设施有基本的认识和了解;另外也需要了解和掌握各个工具之间的优劣,这样才能为项目选择最匹配的自动化工具。是不是像老生常谈?但是别人告诉你的经验和自己经历的实战真的两种不同的收获。就跟蹲家看电视和去现场看演唱会的区别一样,别人的经验之谈总归是别人的,自己走过的路才是自己的。
这两年 Cypress 真的很火,去年在项目上做UI自动化测试的时候,出于好奇也想实践一把。实践出真知,Cypress本身可以通过环境变量和plugin配置代理,但是不支持socks5的代理(客观现状是项目所有资产,包括测试环境都是通过socks5的代理连接),线上环境无法访问。当时还试过将socks5的代理转换成http代理,但因为Cypress本身是多线程的,而socks5只能截获第一个进程的网络通信, 即使能连通应用本身,Cypress也无法将测试过程可视化的优势发挥出来。人无完人,工具也一样,只有适合你的才是好的。
考虑自己也不会造轮子,喜欢拿来就用,加之项目上socks5代理约束,之后便转用了CodeceptJS, 几次尝试下来,觉得非常满足项目需要。下面罗列CodeceptJS 几个好用的点,具体细节请移步 官网 。
由于团队有完全的自由来选择技术栈,在做第三个产品的时候, 我们的开发小哥哥就已经不满足于只写REST API了,第三个产品开始引入GraphQL。在以前的项目上用过REST Assured 做API测试,觉得也是好用的,但当时并没有选用REST Assured, 因为在那时,刚好发现一枚ThouhgtWorks开发自己做的API功能测试工具 Pandaria 。(这也从侧面证明TW的开发很有质量意识)选择这个工具,除了自己不会造轮子,除了它支持代理,更重要的是它基于Cucumber JVM,我个人以前的项目上用过cucumber,对gherkin语法还算熟悉,还有它能提供漂亮的测试报告。它既支持REST API的测试,也支持GraphQL 的测试,完美匹配我个人的技术和项目的实际情况。
在项目做第一个规范安全流程的产品时,MVP1(Minimum Viable Product) 一完成,该产品的接口自动化测试和端到端自动化测试便实现了,并集成到了产品CI/ CD 流水线上。后来由于客户方硬件集成的问题,该产品基于MVP1进行了一次演进,从产品直接融入并规范安全流程换成了‘曲线救国’地强化安全流程,页面和接口设计也有较大变动。由于产品流程设计上的变动导致之前的接口测试和端到端的自动化测试全部都失效,需要重新编写和维护。
这个经历挺真实的,自动化是有好处,但是也是有代价的: 在MVP1,特别是POC(Proof Of Concept)阶段的产品建议不要急于做自动化,项目的初期更别尝试做UI层面的自动化。当然对工具的spike是可以的,把框架搭建好,等待特性稳定了,就可以直接加测试用例了。
我们选择自动化一定是要考虑项目是否存在客观的现实需求,在动手实施具体的自动化测试之前,一定要对自动化测试的投入产出比做一次客观理性地评估。如上图所示,自动化测试的成本相对单次(或者少量的)手动测试来说是较高的,为了少量的测试活动而做自动化,投入产出比是很低的。需要QA根据项目进度,产品演进程度,测试策略,回归频率等等做一个综合评估,找到出图中交集的点,即何时何种情况团队和产品应该必须引入自动化测试了。因为自动化前期需要投入产品分析,工具框架选型,用例设计,数据环境准备等等,后期还需要持续不断地投入人力进行及时的维护和更新以保证自动化测试的严密性和足够的覆盖率。
虽然敏捷强调质量全员负责,但我所待过的团队,做过的项目,践行得好的很少。幸运的是,现在团队的质量意识都很好。但故事一开始不都是美好的,每个团队都是在 “掉坑-反馈-调整磨合” 的循环里走向成熟的。
在交付一个微服务化的产品时,后端多个API,每个API有相应的API集成测试,产品还有UI测试,同时团队还有额外的3个产品需要维护。每个产品都有自动化测试,前端的后端的。其中一个微服务实现的产品就有四套测试,而且后续还会增加视觉测试。
在刚开始的时候,测试挂了没人去看,也没人去修。由于项目是基于 Trunk Based Development ,为了保证测试的及时性,每天不是在加新用例的路上,就是在修各种测试的路上。UI测试相较于API测试更为脆弱,需要频繁的维护成本,特别是项目基于主干开发的团队。那段时间感觉自己成了automation engineer,对产品新增的功能特性并不是非常清楚,对故事卡的可测性也没及时作出反馈,感觉自动化并未真的达到释放自己精力和时间的初衷。
如果只是QA一个人来维护管理,那么这个QA一定做不了自动化以外的事情了。ThoughtWorks好多项目都只有一个QA,我们的这个QA是Quality Analyst, 并不是Automation Engineer。敏捷项目之下,QA的首要任务应该是驱动团队各个角色对质量负责。
为了提升团队对自动化测试的重视程度, 如下是一些我个人在项目上实践过的方法:
除了以上,项目还需要有高度可视化或者能及时通知测试状态的方式。
项目上用的是Jenkins自带的 Build Monitor View。将对项目pipeline的监控投影到电视上,并配置相应的提示音,能非常及时地让团队知道最新的构建,部署,测试状态。
如下是我们项目上当前的一个流水线dashboard:
这些实践都是对‘质量全员负责’最落地的践行。我相信,每个团队是不一样的,但是敏捷QA的主要价值一定是能驱动团队为质量作出改进和贡献。
敏捷QA是对项目流程质量,产品内部质量,产品外部质量都需要负责的,而自动化测试只是质量保证的一种措施而已而非唯一措施。‘质量全员负责’的团队才能释放出你们的QA,去做更多Quality Analysis的工作,比如提更多需要思辨能力的问题以实现产品风险的识别和管理,反思开发流程以促进团队流程质量的提升,分析产品架构制定适合项目产品的整体测试策略等等。
在项目上做自动化集成到流水线的时候,有遇到一些常见的在云容器里运行测试会遇到的问题。
1)测试工具相关的
虽然很多问题都是可以从网上找到答案,但是在解决问题的时候,通常需要我们了解工具框架的工作原理,否则连搜索关键字可能都憋不出来。
2)测试报告可视化相关的
测试报告对于我们快速定位失败根因有很大的帮助,好的测试报告可以直接揭示问题的根源。在云端运行测试,我们通常希望测试工具能输出可读性强的测试报告以方便非技术人员阅读,也希望测试工具能把运行过程的细节打印在console里,以方便技术人员定位根因。
像前面提到的CodeceptJS它就提供多种不同形态的运行,并且可以运用Mocha生成各种类型的测试报告。目前市面上的测试工具,都会有对第三方库的依赖,特别是前端测试框架和工具,这个对QA或者团队的技术宽度是有一定要求的。
另外Jenkins有非常丰富的插件库,在选择测试工具的时候可以把是否有Jenkins报告可视化支持考虑进去。QA需要对Jenkins和测试工具都相当熟悉,还需要知道如何通过将某一测试工具生成的某种格式的测试报告集成在Jenkins上以方便一键获取测试报告。
像cucumber的测试报告插件:
像Allure的测试报告插件:
有了这些插件的辅助,在流水线上就一键可得测试报告,为‘质量团队负责’提供了很好的契机。
3) Pipeline as Code, 想要集成测试到流水线,不可避免是需要一些DevOps相关知识的
也许项目的需求是如何通过Jenkinsfile 并行运行各种测试,也许是通过Jenkinsfile传递测试相关参数以为云上运行测试所用,还也许你需要在Jenkinsfile里添加调试信息用以线上调试,等等。
云上运行,我们还要学会如何在一个slave 上优雅地管理运行测试的容器,不出现容器占用,slave内存不足,测试失败之后报告不可得等等问题。
所以只会自动化工具不够,只有自动化测试也不够。如果你们团队开发们没有DevOps的经验,或者他们忙于特性开发,上线冲刺,那么QA必须对Docker,Kubernetes 基本命令和用法有些了解。QA就是一个不分前后端,不挑技术栈,需要持续不断学习的角色。
会自动化工具算是有了织网的道具,有自动化测试资产算是编出了能捞鱼的网,而持续测试才能真正地实现持续交付,才算是把一张张过滤不同缺陷的网放置于了不断提交变更的交付之流中。
只有网而无法至于河里,或者不知道于何处放置,那就只能站于岸边时时撒网捕鱼,不够及时,也不算释放了捕鱼人 (QA和团队) 。
我们期望的是,各种不同的网 (自动化测试资产) ,置于不同的河段( 软件产品不同层级:函数级别?组件级别?接口级别?系统级别?) ,过滤不同的鱼 (缺陷) ,而不管是谁 (团队的所有角色) 都可以去确认有没有捞着鱼 (测试挂了吗?为什么挂?我们对目前的变更有足够的信心吗?) ,也需要所有人时时确认我们的渔网是不是破了? (测试覆盖率不够?断言不严谨?测试用例过时?) 。
软件交付是一项团队工作,即便自动化测试也一样需要全员协作。
文/ThoughtWorks郭泰瑜
关于接口自动化测试质量保障和自动测试及接口技术的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 接口自动化测试质量保障的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于自动测试及接口技术、接口自动化测试质量保障的信息别忘了在本站进行查找喔。版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~