29、OSPF配置实验之被动接口
686
2023-01-24
本文目录一览:
随着互联网的不断发展,自动化测试成为了新的一种软件功能测试方法。
今天,电脑培训http://www.kmbdqn.cn/就一起来了解一下,在微服务开发环境下的自动化测试设计。
被忽视的软件工程环节—DEVTESTOPS我们有没有发现一个现象,在整个软件过程里,测试这个环节容易被忽视。
任何一种软件工程模型都有QA环节,但是这个环节似乎很薄很弱,目前我们绝大多数工程师、架构师都严重低估了这个环节的力量和价值,还停留在无技术含量,手动功能测试低级效率印象里。
这主要是测试这个角色整个技术体系、工程化能力偏弱,一部分是客观大环境问题,还有一部分自身问题,没有让自己走出去,多去学习整个工程化的技术,多去了解开发的技术,生产上的物理架构,这会有助于测试放大自己的声音。
导致测试环节在国内整个设计创新薄弱的原因还有一个主要原因就是,开发工程师普遍没有完整的工程基础。
在国外IT发达国家,日本、美国等,一个合格的开发工程师、测试工程师都是边界模糊的,自己开发产品自己测试,这需要切换思维模式,需要同时具备这两种能力,但是这才是整个软件工程的完整流程。
我们有没有想过一个问题,为什么现在大家都在谈论DevOps,而不是DevTestOps,为什么偏偏跳过测试这个环节,难道开发的系统需要具备良好的可运维性就不需要可测试性吗,开发需要具备运维能力,运维需要具备开发能力,为什么测试环节忽略了。
我们对QA环节的轻视,对测试角色的不重视其实带来的副作用是非常大的。
微服务架构下测试复杂度和效率问题微服务的拆分粒度要比SOA细了很多,从容器化镜像自动部署来衡量,是拆小了之后很方便,但是拆小了之后会给整个开发、测试环节增加很大的复杂度和效率问题。
在SOA时期,契约驱动这个原则在微服务里也一样适用,跨部门需求定义好契约你就可以先开发上线了。
但是这个里面大的问题就是当前系统的部分连调问题和自动化回归问题,如果是新系统上线还需要做性能压测,这外部的依赖如何解决。
也许我们会说,不是应该依赖方先ready,然后我们紧接着进行测试、发布吗。
如果是业务、架构合理的情况下,这种场景大的问题就是我们的项目容易被依赖方牵制,这会带来很多问题,比如,研发人员需要切换出来做其他事情,branch一直挂着,不知道哪天突然来找你说可以对接了,也许这已经过去一个月或者更久,这种方式一旦养成习惯性研发流程就很容易产生线上BUG。
提到敏捷交付,我们总会说到持续集成,持续交付,持续发布,即频繁地交付产品特性。而我们都知道要实现真正的持续交付,必然少不了两个关键要素:
只有测试不行,只有集成工具也不行,二者需合二为一,保持相同的步调,实现持续不断的质量反馈,方能实现保质地持续发布。
可以开门见山地说:Automation Test ≠ Automation Tools ≠ Continuous Test
根据我个人的项目经验,试着画了下面这个图来表达这三者的关系。
在提及自动化测试的时候,很多人会把工具的使用等同于自动化测试。自动化测试应该是一个策略性的系统工程,不只有自动化工具。像我们的产品一样,不仅要有技术语言,还要有产品架构设计。自动化测试除了工具框架,还需要考虑:
项目的技术栈,产品架构,开发流程,基础设施,可靠的测试数据,稳定干净的测试环境,如何呈现测试报告,如何工程化测试配置,测试套件等等。
有了自动化测试还不够,我们的目的是在持续交付的过程中实现快速频繁的质量反馈,我们需要持续不断地测试(Continous Testing)。实现持续测试,不仅需要团队从文化上去支持,真正做到全员对测试和质量负责,创建Devops文化氛围,打通开发-测试-运维的壁垒微服务接口自动化测试;还需团队从技术上去储备知识,比如云平台、虚拟化技术,容器及相应的编排技术,甚至网络知识等等。
维基百科对自动化的解释:
In software testing, test automation is the use of software separate from the software being tested to control the execution of tests and the comparison of actual outcomes with predicted outcomes.
从定义可以总结出自动化测试的两个特点:
测试,质量评估的重要手段之一,而自动化测试只是测试的一种具体实现方式而已。它能释放QA的双手和一部分大脑(这部分大脑,即know knowns),将对已知特性和既定逻辑流程的检测交由计算机来完成。而QA去做更多需要思辨能力,分析判断能力的事情。例如,通过向团队提问,来澄清需求的unknowns;通过探索产品去拓宽对产品的knowns;抑或运用经验帮助团队走出Unknown Unknowns 带来的迷局。
维基百科对持续测试的解释:
Continuous testing is the process of executing automated tests as part of the software delivery pipeline to obtain immediate feedback on the business risks associated with a software release candidate.
从这个定义可以看出,持续测试的目的即在软件交付的流水线中执行自动化测试以提供对产品质量的反馈。
想强调定义里的几个关键字:automated tests, delivery pipeline, immediate feedback, business risks.
不管多火的工具,如果不能兼容项目的技术栈和基础设施,那都无处发挥其优势,流行的不一定是适合项目的。
在写自动化之前,QA需要对项目的技术栈,开发流程,和基础设施有基本的认识和了解;另外也需要了解和掌握各个工具之间的优劣,这样才能为项目选择最匹配的自动化工具。是不是像老生常谈微服务接口自动化测试?但是别人告诉你的经验和自己经历的实战真的两种不同的收获。就跟蹲家看电视和去现场看演唱会的区别一样,别人的经验之谈总归是别人的,自己走过的路才是自己的。
这两年 Cypress 真的很火,去年在项目上做UI自动化测试的时候,出于好奇也想实践一把。实践出真知,Cypress本身可以通过环境变量和plugin配置代理,但是不支持socks5的代理(客观现状是项目所有资产,包括测试环境都是通过socks5的代理连接),线上环境无法访问。当时还试过将socks5的代理转换成http代理,但因为Cypress本身是多线程的,而socks5只能截获第一个进程的网络通信, 即使能连通应用本身,Cypress也无法将测试过程可视化的优势发挥出来。人无完人,工具也一样,只有适合你的才是好的。
考虑自己也不会造轮子,喜欢拿来就用,加之项目上socks5代理约束,之后便转用了CodeceptJS, 几次尝试下来,觉得非常满足项目需要。下面罗列CodeceptJS 几个好用的点,具体细节请移步 官网 。
由于团队有完全的自由来选择技术栈,在做第三个产品的时候, 我们的开发小哥哥就已经不满足于只写REST API了,第三个产品开始引入GraphQL。在以前的项目上用过REST Assured 做API测试,觉得也是好用的,但当时并没有选用REST Assured, 因为在那时,刚好发现一枚ThouhgtWorks开发自己做的API功能测试工具 Pandaria 。(这也从侧面证明TW的开发很有质量意识)选择这个工具,除了自己不会造轮子,除了它支持代理,更重要的是它基于Cucumber JVM,我个人以前的项目上用过cucumber,对gherkin语法还算熟悉,还有它能提供漂亮的测试报告。它既支持REST API的测试,也支持GraphQL 的测试,完美匹配我个人的技术和项目的实际情况。
在项目做第一个规范安全流程的产品时,MVP1(Minimum Viable Product) 一完成,该产品的接口自动化测试和端到端自动化测试便实现了,并集成到了产品CI/ CD 流水线上。后来由于客户方硬件集成的问题,该产品基于MVP1进行了一次演进,从产品直接融入并规范安全流程换成了‘曲线救国’地强化安全流程,页面和接口设计也有较大变动。由于产品流程设计上的变动导致之前的接口测试和端到端的自动化测试全部都失效,需要重新编写和维护。
这个经历挺真实的,自动化是有好处,但是也是有代价的: 在MVP1,特别是POC(Proof Of Concept)阶段的产品建议不要急于做自动化,项目的初期更别尝试做UI层面的自动化。当然对工具的spike是可以的,把框架搭建好,等待特性稳定了,就可以直接加测试用例了。
我们选择自动化一定是要考虑项目是否存在客观的现实需求,在动手实施具体的自动化测试之前,一定要对自动化测试的投入产出比做一次客观理性地评估。如上图所示,自动化测试的成本相对单次(或者少量的)手动测试来说是较高的,为了少量的测试活动而做自动化,投入产出比是很低的。需要QA根据项目进度,产品演进程度,测试策略,回归频率等等做一个综合评估,找到出图中交集的点,即何时何种情况团队和产品应该必须引入自动化测试了。因为自动化前期需要投入产品分析,工具框架选型,用例设计,数据环境准备等等,后期还需要持续不断地投入人力进行及时的维护和更新以保证自动化测试的严密性和足够的覆盖率。
虽然敏捷强调质量全员负责,但我所待过的团队,做过的项目,践行得好的很少。幸运的是,现在团队的质量意识都很好。但故事一开始不都是美好的,每个团队都是在 “掉坑-反馈-调整磨合” 的循环里走向成熟的。
在交付一个微服务化的产品时,后端多个API,每个API有相应的API集成测试,产品还有UI测试,同时团队还有额外的3个产品需要维护。每个产品都有自动化测试,前端的后端的。其中一个微服务实现的产品就有四套测试,而且后续还会增加视觉测试。
在刚开始的时候,测试挂了没人去看,也没人去修。由于项目是基于 Trunk Based Development ,为了保证测试的及时性,每天不是在加新用例的路上,就是在修各种测试的路上。UI测试相较于API测试更为脆弱,需要频繁的维护成本,特别是项目基于主干开发的团队。那段时间感觉自己成了automation engineer,对产品新增的功能特性并不是非常清楚,对故事卡的可测性也没及时作出反馈,感觉自动化并未真的达到释放自己精力和时间的初衷。
如果只是QA一个人来维护管理,那么这个QA一定做不了自动化以外的事情了。ThoughtWorks好多项目都只有一个QA,我们的这个QA是Quality Analyst, 并不是Automation Engineer。敏捷项目之下,QA的首要任务应该是驱动团队各个角色对质量负责。
为了提升团队对自动化测试的重视程度, 如下是一些我个人在项目上实践过的方法:
除了以上,项目还需要有高度可视化或者能及时通知测试状态的方式。
项目上用的是Jenkins自带的 Build Monitor View。将对项目pipeline的监控投影到电视上,并配置相应的提示音,能非常及时地让团队知道最新的构建,部署,测试状态。
如下是我们项目上当前的一个流水线dashboard:
这些实践都是对‘质量全员负责’最落地的践行。我相信,每个团队是不一样的,但是敏捷QA的主要价值一定是能驱动团队为质量作出改进和贡献。
敏捷QA是对项目流程质量,产品内部质量,产品外部质量都需要负责的,而自动化测试只是质量保证的一种措施而已而非唯一措施。‘质量全员负责’的团队才能释放出你们的QA,去做更多Quality Analysis的工作,比如提更多需要思辨能力的问题以实现产品风险的识别和管理,反思开发流程以促进团队流程质量的提升,分析产品架构制定适合项目产品的整体测试策略等等。
在项目上做自动化集成到流水线的时候,有遇到一些常见的在云容器里运行测试会遇到的问题。
1)测试工具相关的
虽然很多问题都是可以从网上找到答案,但是在解决问题的时候,通常需要我们了解工具框架的工作原理,否则连搜索关键字可能都憋不出来。
2)测试报告可视化相关的
测试报告对于我们快速定位失败根因有很大的帮助,好的测试报告可以直接揭示问题的根源。在云端运行测试,我们通常希望测试工具能输出可读性强的测试报告以方便非技术人员阅读,也希望测试工具能把运行过程的细节打印在console里,以方便技术人员定位根因。
像前面提到的CodeceptJS它就提供多种不同形态的运行,并且可以运用Mocha生成各种类型的测试报告。目前市面上的测试工具,都会有对第三方库的依赖,特别是前端测试框架和工具,这个对QA或者团队的技术宽度是有一定要求的。
另外Jenkins有非常丰富的插件库,在选择测试工具的时候可以把是否有Jenkins报告可视化支持考虑进去。QA需要对Jenkins和测试工具都相当熟悉,还需要知道如何通过将某一测试工具生成的某种格式的测试报告集成在Jenkins上以方便一键获取测试报告。
像cucumber的测试报告插件:
像Allure的测试报告插件:
有了这些插件的辅助,在流水线上就一键可得测试报告,为‘质量团队负责’提供了很好的契机。
3) Pipeline as Code, 想要集成测试到流水线,不可避免是需要一些DevOps相关知识的
也许项目的需求是如何通过Jenkinsfile 并行运行各种测试,也许是通过Jenkinsfile传递测试相关参数以为云上运行测试所用,还也许你需要在Jenkinsfile里添加调试信息用以线上调试,等等。
云上运行,我们还要学会如何在一个slave 上优雅地管理运行测试的容器,不出现容器占用,slave内存不足,测试失败之后报告不可得等等问题。
所以只会自动化工具不够,只有自动化测试也不够。如果你们团队开发们没有DevOps的经验,或者他们忙于特性开发,上线冲刺,那么QA必须对Docker,Kubernetes 基本命令和用法有些了解。QA就是一个不分前后端,不挑技术栈,需要持续不断学习的角色。
会自动化工具算是有了织网的道具,有自动化测试资产算是编出了能捞鱼的网,而持续测试才能真正地实现持续交付,才算是把一张张过滤不同缺陷的网放置于了不断提交变更的交付之流中。
只有网而无法至于河里,或者不知道于何处放置,那就只能站于岸边时时撒网捕鱼,不够及时,也不算释放了捕鱼人 (QA和团队) 。
我们期望的是,各种不同的网 (自动化测试资产) ,置于不同的河段( 软件产品不同层级:函数级别微服务接口自动化测试?组件级别?接口级别?系统级别?) ,过滤不同的鱼 (缺陷) ,而不管是谁 (团队的所有角色) 都可以去确认有没有捞着鱼 (测试挂了吗?为什么挂?我们对目前的变更有足够的信心吗?) ,也需要所有人时时确认我们的渔网是不是破了? (测试覆盖率不够?断言不严谨?测试用例过时?) 。
软件交付是一项团队工作,即便自动化测试也一样需要全员协作。
文/ThoughtWorks郭泰瑜
接口 :外部系统与本系统之间以及系统内部的各个子系统间,以约定标准提供的服务,包括对外提供的接口/对内提供的接口。
在这块我们举一个比较生活化的例子,我们平常使用的笔记本,在笔记本的两端有很多小插口,最常见的就是USB插口,我们可以把鼠标连接在USB插口上,也可以把键盘、U盘连接在USB插口上,为什么同一个USB接口可以连接这么多设备呢,其实这个接口,他就有一个统一对外的连接标准。
在我们开发当中,也有一个对外暴露的接口,因为他们服务的协议都是统一的,最常见的就是hhtp协议,我们规定好一种格式,让客户端来调用我们。
这里面键盘鼠标属于调用方,插到笔记本的USB上,就可以连接设备,就可以进行操作了。对外暴露的一个统一的一个规范,这样去理解接口,更形象一些。
在了解完什么是接口之后,我们来说一下什么是接口测试。
接口测试 测试系统组件间接口的一种测试。接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。测试的重点是要检查数据的交换,传递和控制管理过程,以及系统间的相互逻辑依赖关系等,保证对外提供接口的正确性和健壮性。
我们在具体测试过程中,我们不用关心接口调用方和接收方的实现逻辑,我们只需要知道传入什么数据,返回什么的结果是否达到我们的预期。接口测试其实也是黑盒测试,他与UI测试的区别就是没有界面交互,是不可视化的。
测试前置 :我们不能等到整个系统全部开发完成才能进行测试,我们可以通过调用接口来进行测试,把问题拦截在前期,降低问题修复成本。
Bug更容易定位 :因为我们按接口进行测试,出现问题后在被测接口中排查就可以了,它比系统集成之后,发现问题更容易定位,系统集成之后有各种模块的调用,出现bug之后再排查,排查的链路非常的长。另外从机制上更接近出问题的地方更容易命中问题。
前后端分离结构 :现在很多系统都采用前后端分离架构,各服务之间更多的是通过接口来实现信息互通,对接口进行直接测试,可以更全面的覆盖各类测试场景。
自动化测试落地性价比高 :比UI自动化测试更稳定,我们上面已经说了UI层的元素时常发生变化,有时改一个简单的元素,都有可能导致我们的自动化测试走不下去,写一套自动化测试脚本比较容易的,但是维护起来,会耗费很大的时间精力,相对来说,接口就比较稳定,一个项目没有大的改造,入参和出参就是固定的,变化的概率比较小,这样维护起来也比较方便。
减少安全隐患 :比如我们在平常的测试过程中,测试用户名和密码,密码格式要求不能输入特殊字符,前端做了校验,而后端没有处理,这样我们只测试页面,这条case就默认通过了,但一些黑客可能通过抓包的方式进行登录,这样安全隐患就比较大了。我们对接口进行安全测试,可以避免安全隐患。
借助工具 : Postman、Jmeter、jsf平台、jsf测试工具、easytest
编写测试脚本 :Java+TestNG
请关注下一篇如何使用Java+TestNG进行接口自动化测试
接口自动化工具有以下:
1、QTP。是quicktest Professional的简称,是一种自动测试工具。使用QTP的目的是想用它来执行重复的手动测试,主要是用于回归测试和测试同一软件的新版本。因此你在测试前要考虑好如何对应用程序进行测试,例如要测试那些功能、操作步骤、输入数据和期望的输出数据等。
2、WinRunner。是一种企业级的功能测试工具,用于检测应用程序是否能够达到预期的功能及正常运行。通过自动录制、检测和回放用户的应用操作,WinRunner能够有效地帮助测试人员对复杂的企业级应用的不同发布版进行测试,提高测试人员的工作效率和质量,确保跨平台的、复杂的企业级应用无故障发布及长期稳定运行。
3、AdventNetQEngine。是一个应用广泛且独立于平台的自动化软件测试工具,可用于Web功能测试、web性能测试、Java应用功能测试、Java API测试、SOAP测试、回归测试和Java应用性能测试。
自动化(Automation)是指机器设备、系统或过程(生产、管理过程)在没有人或较少人的直接参与下,按照人的要求,经过自动检测、信息处理、分析判断、操纵控制,实现预期的目标的过程。
自动化技术广泛用于工业、农业、军事、科学研究、交通运输、商业、医疗、服务和家庭等方面。采用自动化技术不仅可以把人从繁重的体力劳动、部分脑力劳动以及恶劣、危险的工作环境中解放出来,而且能扩展人的器官功能,极大地提高劳动生产率,增强人类认识世界和改造世界的能力。
关于微服务接口自动化测试和微服务 单元测试的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 微服务接口自动化测试的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于微服务 单元测试、微服务接口自动化测试的信息别忘了在本站进行查找喔。版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~