dubbo接口压力测试（dubbo压测工具）

本篇文章给大家谈谈dubbo接口压力测试，以及dubbo压测工具对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享dubbo接口压力测试的知识，其中也会对dubbo压测工具进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、关于jmeter测试dubbo接口方式
• 2、软件测试学习到什么程度能顺利工作？
• 3、Dubbo高性能网关--Flurry介绍
• 4、Dubbo如何保证API接口数据安全
• 5、Dubbo接口中出现复杂参数，调用异常问题处理
• 6、Duplicate spring bean id 问题调查

关于jmeter测试dubbo接口方式

本文章介绍如何使用jmeter测试dubbo接口,涉及如下两种方式

1.使用官方dubbo版本包测试dubbo接口

2.通过自己编写java请求插件,实现dubbo调用

选择方式1或方式2并没有什么区别,取决于部分自研公司对dubbo进行了封装,导致官方提供的dubbo包并不适用于方式1,则可以通过方式2去调用

https://github.com/ningyu1/jmeter-plugins-dubbo/releases
解压tar将获取到的jar包放入${JMETER_HOME}\lib\ext路径下(这里获取到的jar包为jmeter-plugins-dubbo-2.7.1-jar-with-dependencies)，重启jmeter应用(这里重启完应用会添加取样器会多出一个dubbo sample)

右键添加,选择线程-线程组

2.光标对准线程组右键添加-取样器-dubbo sample

此处需要关注,当方法接收的是一个String,或者List等类型的参数,可参照截图配置
那么当方法接收的参数是一个对象时,需要获取对接接口的api jar包并关联到当前测试计划
选中测试计划,点击下方浏览按钮,选择对应的jar包

传参的具体方式可参照如下

接口1返回:

接口2返回

看了下网上的大多请求都是单接口请求dubbo,这样就会导致,每次有新的接口的时候都得去更新新的请求,这里提供一个一劳永逸的方法,通过泛化调用,实现一个jar请求可适配所有接口,一般看到这个文章的可能大多都是测试的同学,对于当前方法需要对java有一定的基础,所以这个时候就体验到学习的重要性了,下面开始操作吧

file-new-project,选择maven

输入组织-坐标后点击next

按需配置名称路径后点击finsh

pom.xml配置如下

实现方式如下

打包操作

左侧窗口为生成的jar包和lib目录

这里要说明下,网上提供了一种方式,通过修改安装目录bin下jmeter.properties文件关联lib下的依赖
文件中增加如下(通过尝试,这么做会导致jmeter启动由于jar包加载顺序的问题,ui部分控件不可用)

这里我使用的是另一种更为简便的方式
将原安装目录lib下ext修改为extbak
新建ext,并将工程lib下的jar包和dobbo-jmeter-interface-1.0-SNAPSHOT.jar放入之
由于可能会用到随机函数,从extbak获取ApacheJMeter_functions.jar,也放入到新建的ext目录下
重启jmeter,稍等片刻

添加java请求

添加结果树

点击运行后,结果树信息如下

后续可自行配置断言和随机参数等

软件测试学习到什么程度能顺利工作？

蜗牛学院根据行业变化和企业用人需求整理了一份软件测试的学习路线，都是目前企业刚需的技术，可以参照这份大纲来学习，希望可以帮助到你~

第一阶段：专业基础课程

阶段目标：

1. 熟练掌握IT核心技术：编程，数据库，操作系统，版本控制

2. 能够熟练运用所学技术搭建各类服务器环境

3. 深入理解软件研发过程各种疑难杂症及处理手段

4. 掌握Python编程技术并熟练运用Python进行程序设计

知识点：

1、Web页面元素，布局，CSS样式，盒模型，JavaScript程序设计，函数，基础算法，正则表达式。

2、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，建模工具深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。为软件测试和测试开发打下基础。

3、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境部署，Shell编程Linux作为一个主流的服务器操作系统，是每一个测试开发工程师必须掌握的重点技术，并且能够熟练运用。

4、Python编程基础，语法规则，函数，数据类型，PDBC，培养扎实的Python编程基本功，同时对Python核心对象编程有熟练的运用。

5、Python面向对象，异常处理，文件IO，多线程，网络编程，PyQT界面开发，深入理解面向对象编程，异常处理机制，多线程原理，网络协议知识，并熟练运用于项目中。

第二阶段：专业核心课程

阶段目标：

1. 熟练应用所学知识完成一个标准的软件测试项目

2. 熟练运用Python完成GUI测试，接口测试和性能测试开发

3. 对测试开发技术体系和实现原理有深入的理解

4. 灵活运用测试开发技术解决项目中的各种问题

知识点：

1、软件工程，软件质量，系统测试流程，方法，专业术语，测试用例设计，禅道管理工具，测试报告，缺陷管理理解软件工程的各类实际问题，理解系统测试的理论、方法与过程，熟练运用测试用例设计方法高效设计测试用例。

2、测试需求分析，测试方案设计，测试用例设计，测试项目实施，缺陷报告与测试报告，深入理解系统测试各个过程和关键环节，熟练完成系统测试项目。

3、SikuliX框架，UIAutomation框架，Selenium WebDriver框架，基础框架，Android应用，Monkey测试，Appium移动端测试框架，UIAutomator2移动端测试框架综合运用各类应用操作平台，完成各种自动化测试框架的学习和应用，深入理解GUI自动化测试技术及相应框架的测试开发。

4、Python单元测试框架，网络通信协议，HTTP与HTTPS协议，WebService与WebSocket协议，Python的接口测试库，PostMan与SoapUI接口测试工具通过对代码级接口测试和协议级接口测试的测试开发实战，灵活运用Python开发接口测试脚本，熟练运用各类接口测试工具。

5、性能测试原理，指标体系，场景设计，实施过程，JMeter工具应用，BeanShell脚本开发，Python+Locust性能测试框架深入理解性能测试技术体系和方法论，熟练运用JMeter性能测试工具和Locust性能测试框架实施对任意系统的性能测试。

第三阶段：综合实战项目

阶段目标：

1. 将软件测试和测试开发技术灵活运用于项目中

2. 具备较强的测试开发能力，独立完成测试开发项目

3. 综合运用软件测试技术，满足企业中高级人才需求

4. 对所学技术有深入的理解并具备独立解决问题的能力

知识点：

1、测试需求分析，同行评审，测试计划，测试方案，测试用例，配置管理，持续集成。通过对大型企业级应用系统的测试项目实战，强化理解系统测试项目的实施过程与技术细节。

2、接口测试设计与实施，回归测试，冒烟测试，安全性测试，RobotFramework框架应用，UI自动化实战将各类自动化测试技术结合项目实战演练，强化对自动化测试技术的运用，同时掌握更多的测试框架。

3、性能测试项目实战，LoadRunner性能测试工具，总结通过综合项目实战，将全套测试技术融入到项目中，强化学习效果和项目经验。

4、Python原生测试框架开发，包括Monkey，UI，图像识别，云测试平台，HTML测试报告，持续集成，KDT关键字驱动框架开发等原生技术实现通过大量的Python原生代码开发，深入理解自动化测试开发技术的底层实现原理，完全抛弃对工具的依赖，做到真正的测试开发技术。

5、基于测试框架的设计思路和实现手段，自主实现一套测试框架能够独立完成一套自动化测试框架，并能够直接用于实际项目中。

6、持续集成与Jenkins，安全性测试原理与工具，Python爬虫开发与Scrapy框架，提升软件测试其它类技术，增强知识面，提升竞争力，助力职业发展。

补充知识

1、 算法进阶，图像处理，视频处理，加密解密，压缩算法。

2、 UML统一建模语言、五种图、类图、类图详解、用例图、时序图。

3、Dubbo分布式开发框架，Oracle关系型数据库管理系统，MongoDB非关系型数据库管理系统。

4、 大数据开发框架Hadoop/MapReduce/Spark。

5、 Android与iOS的原生应用开发与WebApp开发。

6、OpenCV图像处理框架、TensorFlow深度学习框架，Lucene全文搜索引擎与中文分词框架Ik-Analyzer，视频处理算法与框架等。

Dubbo高性能网关--Flurry介绍

从架构的角度来看dubbo接口压力测试，API网关暴露http接口服务,其本身不涉及业务逻辑,只负责包括请求路由、负载均衡、权限验证、流量控制、缓存等等功能。其定位类似于Nginx请求转发、但功能要多于Nginx,背后连接dubbo接口压力测试了成百上千个后台服务dubbo接口压力测试，这些服务协议可能是rest的，也可能是rpc协议等等。

网关的定位决定了它生来就需要高性能、高效率的。网关对接着成百上千的服务接口,承受者高并发的业务需求，因此我们对其性能要求严苛，其基本功能如下:

Flurry是云集自研的一款轻量级、异步流式化、针对Dubbo的高性能API网关。与业界大多数网关不同的是，flurry自己实现了 http与dubbo协议互转的流式化的dubbo-json协议，可高性能、低内存要求的对http和dubbo协议进行转换。除此之外，其基于 netty作为服务容器，提供服务元数据模型等等都是非常具有特点的。下面我们将详细介绍 flurry的特性:

Flurry 网关请求响应基于Netty线程模型,后者是实现了Reactive,反应式模式规范的,其设计就是来榨干CPU的，可以大幅提升单机请求响应的处理能力。
最终,Flurry通过使用Netty线程模型和NIO通讯协议实现了HTTP请求和响应的异步化。

每一次http请求最终都会由Netty的一个Client Handler来处理,其最终以异步模式请求后台服务，并返回一个CompletableFuture,当有结果返回时才会将结果返回给前端。
见下面一段例子:

有了服务元数据,我们就可以不必需要服务的API包,并能够清晰的知道整个服务API的定义。
这在Dubbo服务Mock调用、服务测试、文档站点、流式调用等等场景下都可以发挥抢到的作用。

小孩子才分对错，成年人只看利弊。额外引入一个元数据生成机制，必然带来运维成本、理解成本、迁移成本等问题，那么它具备怎样的价值，来说服大家选择它呢dubbo接口压力测试？上面我们介绍元数据中心时已经提到了服务测试、服务 MOCK 等场景，这一节我们重点探讨一下元数据中心的价值和使用场景。

那么，Dubbo服务元数据能够利用到哪些场景呢？下面我们来详细描述。

Http请求，数据通过JSON传输,其格式严格按照接口POJO属性。返回结果再序列化为Json返回前端。现在大多数开源的网关,在dubbo协议适配上都是采用的泛化模式来做到协议转换的,这其中就包括 Soul 等。

JsonString - JSONObject(Map) - Binary

将JSON 字符串转换为 JSON 对象模型（JSONObject),此处通过第三方JSON映射框架（如Google的Gson, 阿里的FastJSON等)来做,然后将Map通过Hessian2 协议序列化为Binaray。

自定义的Dubbo-Json协议参考了 dapeng-soa 的流式解析协议的思想,详情请参考: dapeng-json

针对上述泛化模式转换Dubbo协议的缺点,我们在flurry-core 中的 Dubbo-Json 序列化协议做到了这点，下面我们来讲解它是如何高效率的完成JsonString到 dubbo hessian2 序列化buffer的转换的。

虽然大部分情况下的JSON请求、返回都是数据量较小的场景, 但作为平台框架, 也需要应对更大的JSON请求和返回, 比如1M、甚至10M. 在这些场景下, 如果需要占用大量的内存, 那么势必导致巨大的内存需求, 同时引发频繁的GC操作, 也会联动影响到整个网关的性能.

Dubbo-Json参考了XML SAX API的设计思想, 创造性的引入了JSON Stream API, 采用流式的处理模式, 实现JSON 对 hessian2 的双向转换, 无论数据包有多大, 都可以在一定固定的内存规模内完成.

流式协议，顾名思义就是边读取边解析,数据像水流一样在管道中流动,边流动边解析，最后，数据解析完成时，转换成的hessian协议也已全部写入到了buffer中。
这里处理的核心思想就是实现自己的Json to hessian2 buffer 的语法和此法解析器,并配合前文提及的元数据功能,对每一个读取到的json片段通过元数据获取到其类型，并使用 hessian2协议以具体的方式写入到buffer中。

首先我们来看看JSON的结构. 一个典型的JSON结构体如下

其对应Java POJO 自然就是上述三个属性,这里我们略过。下面是POJO生成的元数据信息

相比XML而言，JSON数据类型比较简单, 由 Object/Array/Value/String/Boolean/Number 等元素组成, 每种元素都由特定的字符开和结束. 例如Object以'{'以及'}'这两个字符标志开始以及结束, 而Array是'['以及']'. 简单的结构使得JSON比较容易组装以及解析。

如图,我们可以清晰的了解JSON的结构,那么对上述JSON进行解析时,当每一次解析到一个基本类型时,先解析到key，然后根据key到元数据信息中获取到其value类型，然后直接根据对应类型的hessian2序列化器将其序列化到byte buffer中。

当解析到引用类型,即 Struct类型时,我们将其压入栈顶,就和java方法调用压栈操作类似。
通过上面的步骤一步一步，每解析一步Json，就将其写入到byte buffer中，最终完成整个流式的解析过程。

拿上面json为例:

总结:

上述整个请求和响应,网关处理如下:

请求和响应中没有像泛化模式中的中间对象转换，直接一步到位，没有多余的临时对象占用内存,没有多余的数据转换,整个过程像在管道中流式的进行。

如上图所示，flurry dubbo网关不必依赖任何dubbo接口API包,而是直接通过获取服务元数据、并通过dubbo-json流式协议来调用后端服务。其本身不会耦合业务逻辑。

硬件部署与参数调整

对基于Y-Hessian的 异步化、流式转换的Yunji Dubbo API网关进行性能压测，了解它的处理能力极限是多少，这样有便于我们推断其上线后的处理能力,以及对照现有的Tomcat接入层模式的优势,能够节约多少资源，做到心里有数。

性能测试场景

上述场景均使用wrk在压测节点上进行5～10min钟的压测，压测参数基本为12线程256连接或者512连接，以发挥最大的压测性能。

flurry集Dubbo网关、异步、流式、高性能于一身,其目标就是替代一些以tomcat作为dubbo消费者的接入层，以更少的节点获得更多的性能提升，节约硬件资源和软件资源。

后续在flurry的基础上，将实现鉴权管理、流量控制、限流熔断、监控收集等等功能

Flurry : 基于Dubbo服务的高性能、异步、流式网关
dubbo-json : 自定义的Dubbo协议，支持流式序列化模式，为flurry网关序列化/反序列化组件。
Yunji-doc-site : 与元数据集成相关的项目,以及文档站点

dapeng-soa : Dapeng-soa 是一个轻量级、高性能的微服务框架，构建在Netty以及定制的精简版Thrift之上。 同时，从Thrift IDL文件自动生成的服务元数据信息是本框架的一个重要特性，很多其它重要特性都依赖于服务元数据信息。 最后，作为一站式的微服务解决方案，Dapeng-soa还提供了一系列的脚手架工具以支持用户快速的搭建微服务系统
dapeng-json :dapeng-json协议介绍

Dubbo如何保证API接口数据安全

https://blog.csdn.net/meism5/article/details/104391123

Dubbo 和 Zookeeper 基本都是部署在内网，不对外网开放

Zookeeper 的注册可以添加用户权限认证

Dubbo 通过 Token 令牌防止用户绕过注册中心直连

在注册中心上管理授权

增加对接口参数校验

提供IP、服务黑白名单，来控制服务所允许的调用方

前后端API 交互如何保证数据安全性？-Java知音
https://github.com/yinjihuan/monkey-api-encrypt

monkey-api-encrypt是对基于Servlet的Web框架API请求进行统一加解密操作

前后端分离的开发方式，我们以接口为标准来进行推动，定义好接口，各自开发自己的功能，最后进行联调整合。无论是开发原生的APP还是webapp还是PC端的软件,只要是前后端分离的模式，就避免不了调用后端提供的接口来进行业务交互。

网页或者app，只要抓下包就可以清楚的知道这个请求获取到的数据，这样的接口对爬虫工程师来说是一种福音，要抓你的数据简直轻而易举。

数据的安全性非常重要，特别是用户相关的信息，稍有不慎就会被不法分子盗用，所以我们对这块要非常重视，容不得马虎。

monkey-api-encrypt是对基于Servlet的Web框架API请求进行统一加解密操作的框架。

支持所有基于Servlet的Web框架（Spring Boot, Spring Cloud Zuul等框架）

Dubbo接口中出现复杂参数，调用异常问题处理

因业务需要，原有dubbo接口参数需要扩展，并且参数格式出现多层嵌套的情况，参数Bean格式如下：

@Data

public class AddOrUpdateParam implements Serializable {

private User user;

private List<ScopeParam scopes;

}

ScopeParam定义如下：

@Data

public class ScopeParam implements Serializable {

private int identityId =0;

private List<RegionDivision regions

private List<Integer ids;

}

RegionDivision的定义如下：

@Data

public class RegionDivision implements Serializable {

private int groupID;

private int regionID;

private int regionType;

}
结果调用微服务接口时传递此参数，接口直接抛出404，纳尼，  为什么会是404？  经过查阅资料发现，dubbo参数可能太过复杂，出现了多增嵌套，导致参数解析异常，所以出现了404。既然是参数太过复杂， 那我就不传那么复杂了，直接用json格式试一下，于是直接修改定义:

private List<ScopeParam scopes ;

改为：

private String regionJson;

然后在dubbo接口内部再进行参数解析：

List<ScopeParam scopes =new ArrayList<();

if (!StringUtils.isEmpty(param.getRegionJson())) {

    MapclassMap =new HashMap();

    classMap.put("region", RegionDivision.class);

    JSONArray jsonArray =JSONArray.fromObject(param.getRegionJson());

    if (jsonArray !=null !jsonArray.isEmpty()) {

for (int i =0; i<jsonArray.size(); ++i){

ScopeParam item = (ScopeParam)JSONObject

                    .toBean(jsonArray.getJSONObject(i), ScopeParam.class, classMap);

            if (item !=null) {

scopes.add(item);

            }

}

}

}

然后再次调用，正常。

Duplicate spring bean id 问题调查

问题背景 ：从本地调用服务器的dubbo接口进行测试

实现思路 ：基于IDEA+Spring+maven+Dubbo搭建测试项目，从本地直接调用

具体实现思路可参考博客： https://www.cnblogs.com/xiuxingzhe/p/9250737.html

碰到问题 ：引入测试目标jar后，调用其接口运行测试类时，报错如下
Caused by: java.lang.IllegalStateException: Duplicate spring bean id cfgDistributorServiceImpl

    at com.alibaba.dubbo.config.spring.schema.DubboBeanDefinitionParser.parse(DubboBeanDefinitionParser.java:106)

    at com.alibaba.dubbo.config.spring.schema.DubboBeanDefinitionParser.parse(DubboBeanDefinitionParser.java:77)

    at org.springframework.beans.factory.xml.NamespaceHandlerSupport.parse(NamespaceHandlerSupport.java:74)

    at org.springframework.beans.factory.xml.BeanDefinitionParserDelegate.parseCustomElement(BeanDefinitionParserDelegate.java:1411)

    at org.springframework.beans.factory.xml.BeanDefinitionParserDelegate.parseCustomElement(BeanDefinitionParserDelegate.java:1401)

    at org.springframework.beans.factory.xml.DefaultBeanDefinitionDocumentReader.parseBeanDefinitions(DefaultBeanDefinitionDocumentReader.java:168)

    at org.springframework.beans.factory.xml.DefaultBeanDefinitionDocumentReader.doRegisterBeanDefinitions(DefaultBeanDefinitionDocumentReader.java:138)

    at org.springframework.beans.factory.xml.DefaultBeanDefinitionDocumentReader.registerBeanDefinitions(DefaultBeanDefinitionDocumentReader.java:94)

    at org.springframework.beans.factory.xml.XmlBeanDefinitionReader.registerBeanDefinitions(XmlBeanDefinitionReader.java:508)

    at org.springframework.beans.factory.xml.XmlBeanDefinitionReader.doLoadBeanDefinitions(XmlBeanDefinitionReader.java:392)
调查思路 ：

1.检查项目中spring是否加载了两个一样的配置文件

 spring对于id的重复，默认的处理策略是覆盖

 但是dubbo的新版本对重复的id做了特殊处理，如果有重复直接抛异常，就会出现上述问题

 检查结果：自己的项目中并没有重复加载配置文件



2.spring扫描项目时，不仅会扫描当前项目中dubbo消费者，新建的类等需要注册的bean

　还会扫描pom.xml中引入的jar包中的带有以下注解的类：@Component，@Repository，@Service，@Controller，@RestController，@ControllerAdvice, @Configuration

　所以在引入包的时候，不能引入service包，因为service层的类多包含有注解@service，需要引入的是facade接口层的jar包
   检查了一下，自己引入的就是service层的jar包，至此问题找到了



            com.msa.base

            base-service

            1.0-SNAPSHOT
修改成facade层的引入



            com.msa.base

            base-service-facade

            1.0-SNAPSHOT
　 重跑测试类：调用成功 关于dubbo接口压力测试和dubbo压测工具的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 dubbo接口压力测试的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于dubbo压测工具、dubbo接口压力测试的信息别忘了在本站进行查找喔。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。