包含python 调用dubbo接口测试的词条

本篇文章给大家谈谈python 调用dubbo接口测试，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享python 调用dubbo接口测试的知识，其中也会对进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、关于jmeter测试dubbo接口方式
• 2、Dubbo的调用过程及工作原理
• 3、7.Dubbo远程调用(要配合下一篇一起看)
• 4、dubbo telnet invoke 怎么传递BigDecimal类型数据
• 5、dubbo泛化调用使用及原理解析
• 6、Duplicate spring bean id 问题调查

关于jmeter测试dubbo接口方式

本文章介绍如何使用jmeter测试dubbo接口,涉及如下两种方式

1.使用官方dubbo版本包测试dubbo接口

2.通过自己编写java请求插件,实现dubbo调用

选择方式1或方式2并没有什么区别,取决于部分自研公司对dubbo进行了封装,导致官方提供的dubbo包并不适用于方式1,则可以通过方式2去调用

https://github.com/ningyu1/jmeter-plugins-dubbo/releases
解压tar将获取到的jar包放入${JMETER_HOME}\lib\ext路径下(这里获取到的jar包为jmeter-plugins-dubbo-2.7.1-jar-with-dependencies)，重启jmeter应用(这里重启完应用会添加取样器会多出一个dubbo sample)

右键添加,选择线程-线程组

2.光标对准线程组右键添加-取样器-dubbo sample

此处需要关注,当方法接收的是一个String,或者List等类型的参数,可参照截图配置
那么当方法接收的参数是一个对象时,需要获取对接接口的api jar包并关联到当前测试计划
选中测试计划,点击下方浏览按钮,选择对应的jar包

传参的具体方式可参照如下

接口1返回:

接口2返回

看了下网上的大多请求都是单接口请求dubbo,这样就会导致,每次有新的接口的时候都得去更新新的请求,这里提供一个一劳永逸的方法,通过泛化调用,实现一个jar请求可适配所有接口,一般看到这个文章的可能大多都是测试的同学,对于当前方法需要对java有一定的基础,所以这个时候就体验到学习的重要性了,下面开始操作吧

file-new-project,选择maven

输入组织-坐标后点击next

按需配置名称路径后点击finsh

pom.xml配置如下

实现方式如下

打包操作

左侧窗口为生成的jar包和lib目录

这里要说明下,网上提供了一种方式,通过修改安装目录bin下jmeter.properties文件关联lib下的依赖
文件中增加如下(通过尝试,这么做会导致jmeter启动由于jar包加载顺序的问题,ui部分控件不可用)

这里我使用的是另一种更为简便的方式
将原安装目录lib下ext修改为extbak
新建ext,并将工程lib下的jar包和dobbo-jmeter-interface-1.0-SNAPSHOT.jar放入之
由于可能会用到随机函数,从extbak获取ApacheJMeter_functions.jar,也放入到新建的ext目录下
重启jmeter,稍等片刻

添加java请求

添加结果树

点击运行后,结果树信息如下

后续可自行配置断言和随机参数等

Dubbo的调用过程及工作原理

节点角色说明：
1️⃣Container：服务运行容器。
2️⃣Provider：暴露服务的服务提供方。
3️⃣Consumer：调用远程服务的服务消费方。
4️⃣Registry：服务注册与发现的注册中心。
服务提供者先启动 start，然后注册 register 服务。消费订阅 subscribe 服务，如果没有订阅到自己想获得的服务，它会不断的尝试订阅。新的服务注册到注册中心以后，注册中心会将这些服务通过 notify 到消费者。

5️⃣Monitor：统计服务的调用次数和调用时间的监控中心。
这是一个监控，图中虚线表明 Consumer 和 Provider 通过异步的方式发送消息至 Monitor，Consumer 和 Provider 会将信息存放在本地磁盘，平均一分钟发送一次信息。Monitor 在整个架构中是可选的(图中的虚线并不是可选的意思)，Monitor 功能需要单独配置，不配置或者配置以后，Monitor 挂掉并不会影响服务的调用。

①服务容器 Container 负责启动加载运行服务提供者 Provider。根据 Provider 配置的文件根据协议发布服务，完成服务的初始化。

②Provider 在启动时，根据配置中的 Registry 地址连接 Registry，将 Provider 的服务信息发布到 Registry，在 Registry 注册自己提供的服务。

③Consumer 在启动时，根据消费者 XML 配置文件中的服务引用信息，连接到 Registry，向 Registry 订阅自己所需的服务。

④Registry 根据服务订阅关系，返回 Provider 地址列表给 Consumer。如果有变更，Registry 会基于长连接推送最新的服务地址信息给 Consumer。

⑤Consumer 调用远程服务时，基于 软负载均衡算法 ，先从缓存的 Provider 地址列表中选择一台进行跨进程调用服务，假如调用失败，再重新选另一台调用。

⑥服务 Provider 和 Consumer，会在内存中记录调用次数和调用时间，每分钟发送一次统计数据到 Monitor。

7.Dubbo远程调用(要配合下一篇一起看)

如果我们手动写一个简单的RPC调用，一般需要把服务调用的信息传递给服务端，包括每次服务调用的一些共用信息包括服务调用接口、方法名、方法参数类型和方法参数值等，在传递方法参数值时需要先序列化对象并经过网络传输到服务端，在服务端接受后再按照客户端序列化的顺序再做一次反序列化，然后拼装成请求对象进行服务反射调用，最终将调用结果传给客户端。Dubbo的实现也基本是相同的原理，下图是Dubbo一次完整RPC调用中经过的步骤：

首先在客户端启动时，会从注册中心拉取和订阅对应的服务列表，Cluster会把拉取的服务列表聚合成一个Invoker，每次RPC调用前会通过Directory#list获取providers地址(已经生成好的Invoker地址)，获取这些服务列表给后续路由和负载均衡使用。对应上图①中将多个服务提供者做聚合。在框架内部实现Directory接口的是RegistryDirectory类，它和接口名是一对一的关系(每一个接口都有一个RegistryDirectory实例)，主要负责拉取和订阅服务提供者、动态配置和路由项。
在Dubbo发起服务调用时，所有路由和负载均衡都是在客户端实现的。客户端服务调用首先会触发路由操作，然后将路由结果得到的服务列表作为负载均衡参数，经过负载均衡后会选出一台机器进行RPC调用，这3个步骤一次对应图中②③④。客户端经过路由和负载均衡后，会将请求交给底层IO线程池(如Netty)进行处理，IO线程池主要处理读写、序列化和反序列化等逻辑，因此这里一定不能阻塞操作，Dubbo也提供参数控制(decode.in.io)参数，在处理反序列化对象时会在业务线程池中处理。在⑤中包含两种类似的线程池，一种是IO线程池(Netty)，另一种是Dubbo业务线程池(承载业务方法调用)。
目前Dubbo将服务调用和Telnet调用做了端口复用，子啊编解码层面也做了适配。在Telnet调用时，会新建立一个TCP连接，传递接口、方法和json格式的参数进行服务调用，在编解码层面简单读取流中的字符串(因为不是Dubbo标准头报文)，最终交给Telnet对应的Handler去解析方法调用。如果不是Telnet调用，则服务提供方会根据传递过来的接口、分组和版本信息查找Invoker对应的实例进行反射调用。在⑦中进行了端口复用，Telnet和正常RPC调用不一样的地方是序列化和反序列化使用的不是Hessian方式，而是直接使用fastjson进行处理。
讲解完主要调用原理，接下来开始探讨细节，比如Dubbo协议、编解码实现和线程模型等，本篇重点主要放在⑤⑥⑦。

Dubbo协议参考了现有的TCP/IP协议，每一次RPC调用包括协议头和协议体两部分。16字节长的报文头部主要包含魔数(0xdabb)，以及当前请求报文是否是Request、Response、心跳和事件的信息，请求时也会携带当前报文体内序列化协议编号。除此之外，报文头还携带了请求状态，以及请求唯一标识和报文体长度。

在消息体中，客户端严格按照序列化顺序写入消息，服务端也会遵循相同的顺序读取消息，客户端发起的请求消息体一次依次保存下列内容：Dubbo版本号、服务接口名、服务接口版本、方法名、参数类型、方法参数值和请求额外参数(attachment)。
服务端返回的响应消息体主要包含回值状态标记和返回值，其中回值状态标记包含6中：

我们知道在网络通信中(TCP)需要解决网络粘包/解包的问题，常用的方法比如用回车、换行、固定长度和特殊分隔符进行处理，而Dubbo是使用特殊符号0xdabb魔法数来分割处理粘包问题。
在实际场景中，客户端会使用多线程并发调用服务，Dubbo如何做到正确响应调用线程呢？关键在于协议头的全局请求id标识，先看原理图：

当客户端多个线程并发请求时，框架内部会调用DefaultFuture对象的get方法进行等待。在请求发起时，框架内部会创建Request对象，这时候会被分配一个唯一id，DefaultFuture可以从Request中获取id，并将关联关系存储到静态HashMap中，就是上图中的Futures集合。当客户端收到响应时，会根据Response对象中的id，从Futures集合中查找对应DefaultFuture对象，最终会唤醒对应的线程并通知结果。客户端也会启动一个定时扫描线程去探测超时没有返回的请求。

先了解一下编解码器的类关系图：

如上，AbstractCodec主要提供基础能力，比如校验报文长度和查找具体编解码器等。TransportCodec主要抽象编解码实现，自动帮我们去调用序列化、反序列化实现和自动cleanup流。我们通过Dubbo编解码继承结构可以清晰看到，DubboCodec继承自ExchageCodec，它又再次继承了TelnetCodec实现。我们前面说过Telnet实现复用了Dubbo协议端口，其实就是在这层编解码做了通用处理。因为流中可能包含多个RPC请求，Dubbo框架尝试一次性读取更多完整报文编解码生成对象，也就是图中的DubboCountCodec，它的实现思想比较简单，依次调用DubboCodec去解码，如果能解码成完整报文，则加入消息列表，然后触发下一个Handler方法调用。

编码器的作用是将Java对象转成字节流，主要分两部分，构造报文头部，和对消息体进行序列化处理。所有编辑码层实现都应该继承自ExchangeCodec，当Dubbo协议编码请求对象时，会调用ExchangeCodec#encode方法。我们来看下这个方法是如何对请求对象进行编码的：

如上，是Dubbo将请求对象转成字节流的过程，其中encodeRequestData方法是对RpcInvocation调用对象的编码，主要是对接口、方法、方法参数类型、方法参数等进行编码，在DubboCodec#encodeRequestData中对此方法进行了重写：

如上，响应编码与请求编码的逻辑基本大同小异，在编码出现异常时，会将异常响应返回给客户端，防止客户端只能一直等到超时。为了防止报错对象无法在客户端反序列化，在服务端会将异常信息转成字符串处理。对于响应体的编码，在DubboCodec#encodeResponseData方法中实现：

注意不管什么样的响应，都会先写入1个字节的标识符，具体的值和含义前面已经讲过。

解码相对更复杂一些，分为2部分，第一部分是解码报文的头部，第二部分是解码报文体内容并将其转换成RpcInvocation对象。我们先看服务端接受到请求后的解码过程，具体解码实现在ExchangeCodec#decode方法：

可以看出，解码过程中需要解决粘包和半包问题。接下来我们看一下DubboCodec对消息题解码的实现：

如上，如果默认配置在IO线程解码，直接调用decode方法；否则不做解码，延迟到业务线程池中解码。这里没有提到的是心跳和事件的解码，其实很简单，心跳报文是没有消息体的，事件又消息体，在使用Hessian2协议的情况下默认会传递字符R，当优雅停机时会通过发送readonly事件来通知客户端当前服务端不可用。
接下来，我们分析一下如何把消息体转换成RpcInvocation对象，具体在DecodeableRpcInvocation#decode方法中：

解码请求时，严格按照客户端写数据的顺序处理。
解码响应和解码请求类似，调用的同样是DubboCodec#decodeBody，就是上面省略的部分，这里就不赘述了，重点看下响应体的解码，即DecodeableRpcResult#decode方法：

如果读者熟悉Netty，就很容易理解Dubbo内部使用的ChannelHandler组件的原理，Dubbo内部使用了大量的Handler组成类似链表，依次处理具体逻辑，包括编解码、心跳时间戳和方法调用Handler等。因为Nettty每次创建Handler都会经过ChannelPipeline，大量的事件经过很多Pipeline会有较多开销，因此Dubbo会将多个Handler聚合成一个Handler。(个人表示，这简直bullshit)

Dubbo的Channelhandler有5中状态：

Dubbo针对每个特性都会实现对应的ChannelHandler，在讲解Handler的指责之前，我们Dubbo有哪些常用的Handler：

Dubbo提供了大量的Handler去承载特性和扩展，这些Handler最终会和底层通信框架做关联，比如Netty等。一次完整的RPC调用贯穿了一系列的Handler，如果直接挂载到底层通信框架(Netty)，因为整个链路比较长，则需要大量链式查找和事件，不仅低效，而且浪费资源。
下图展示了同时具有入站和出站ChannelHandler的布局，如果一个入站事件被触发，比如连接或数据读取，那么它会从ChannelPipeline头部一直传播到ChannelPipeline的尾端。出站的IO事件将从ChannelPipeline最右边开始，然后向左传播。当然ChannelPipeline传播时，会检测入站的是否实现了ChannelInboundHandler，出站会检测是否实现了ChannelOutboundHandler，如果没有实现，则自动跳过。Dubbo框架中实现这两个接口类主要是NettyServerHandler和NettyClientHandler。Dubbo通过装饰者模式包装Handler，从而不需要将每个Handler都追加到Pipeline中。因此NettyServer和NettyClient中最多有3个Handler，分别是编码、解码和NettyHandler。

讲完Handler的流转机制后，我们再来探讨RPC调用Provider方处理Handler的逻辑，在DubboProtocol中通过内部类继承自ExchangeHandlerAdapter，完成服务提供方Invoker实例的查找并进行服务的真实调用。

如上是触发业务方法调用的关键，在服务暴露时服务端已经按照特定规则(端口、接口名、接口版本和接口分组)把实例Invoker存储到HashMap中，客户端调用过来时必须携带相同信息构造的key，找到对应Exporter(里面持有Invoker)然后调用。
我们先跟踪getInvoker的实现，会发现服务端唯一标识的服务由4部分组成：端口、接口名、接口版本和接口分组。

如上，Dispatcher是线程池的派发器。这里需要注意的是，Dispatcher真实的职责是创建有线程派发能力的ChannelHandler，比如AllChannelHandler、MessageOnlyChannelHandler和ExecutionChannelHanlder，其本身并不具备线程派发能力。
Dispatcher属于Dubbo中的扩展点，这个扩展点用来动态产生Handler，以满足不同的场景，目前Dubbo支持一下6种策略调用：

具体需要按照使用场景不同启用不同的策略，建议使用默认策略，如果在TCP连接中需要做安全或校验，则可以使用ConnectionOrderedDispatcher策略。如果引入新的线程池，则不可避免的导致额外的线程切换，用户可在Dubbo配置中指定dispatcher属性让具体策略生效。

在Dubbo内部，所有方法调用都被抽象成Request/Response，每次调用都会创建一个Request，如果是方法调用则返回一个Response对象。HeaderExceptionExchangeHandler就是用了处理这种场景，主要负责4中事情：
(1) 更新发送和读取请求时间戳。
(2) 判断请求格式或编解码是否有错，并响应客户端失败的具体原因。
(3) 处理Request请求和Response正常响应。
(4) 支持Telnet调用。
我们先来看一下HeaderExchangeHandler#received实现：

dubbo telnet invoke 怎么传递BigDecimal类型数据

ls
(list services and methods)
ls
显示服务列表。
ls -l
显示服务详细信息列表。
ls XxxService
显示服务的方法列表。
ls -l XxxService
显示服务的方法详细信息列表。

dubbo泛化调用使用及原理解析

通常我们想调用别人的dubbo服务时，我们需要在项目中引入对应的jar包。而泛化调用的作用是，我们无需依赖相关jar包，也能调用到该服务。

这个特性一般使用在网关类项目中，在业务开发中基本不会使用。

假设我现在要调用下面的接口服务

在xml文件做以下配置

然后注入使用

在两种调用方式中，我们都需要使用被调用接口的字符串参数生成GenericService，通过GenericService的$invoke间接调用目标接口的接口。

$invoke的三个参数分别为，方法名，方法参数类型数组，方法参数数组。

可以看到泛化调用的一个复杂性在于$invoke的第三个参数的组装，下面介绍几种复杂入参的调用方式

首先丰富提供者接口

与入参相似，虽然$invoke的返回定义为Object，实际上针对不同类型有不同的返回。

泛化调用和直接调用在消费者者端，在 使用上的区别 是，我们调用服务时使用的接口为GenericService，方法为$invoker。在 底层的区别 是，消费者端发出的rpc报文发生了变化。

在使用上，不管哪种配置方式，我们都需要配置generic=true

设置generic=true后，RefereceConfig的interfaceClass会被强制设置为GenericService

这也使得我们的RefereanceBean返回的是GenericService类型的代理。

生成的代理是GenericService的代理只是我们使用方式上的变化，更为核心的是，底层发送的rpc报文发生了什么变化。

Dubbo的rpc报文分为header和body两部分。我们这边只需要关注body部分。构造逻辑如下

那么我们通过直接调用与泛化调用ByeService的bye方法在报文上有啥区别呢？

我一开始以为报文中的path是GenericeService，其实并没有，path就是我们调用的目标方法。

path来源？？？todo

而报文中的方法名，方法参数类型以及具体参数，还是按照GenericeService的$invoke方法入参传递的。

这么个二合一的报文，发送到提供者那边，它估计也会很懵逼，我应该怎么执行？

所以针对泛化调用报文还会把generic=true放在attchment中传递过去

具体逻辑在GenericImplFilter中。

GenericImplFilter中有很多其他逻辑，比如泛化调用使用的序列化协议，正常接口走泛化调用的模式，我们只需要设置attachment的那部分。

知道消费者端报文发生了什么变化，那么接下来就去看提供者端如何处理这个改造后的报文。

总结一下ReferenceConfig中interfaceClass和interfaceName的区别？(这道面试题好像不错)

interfaceClass用于指定生成代理的接口
interfaceName用于指定发送rpc报文中的path(告诉服务端我要调用那个服务)

消费者泛化调用的rpc报文传递到提供者还不能直接使用，虽然path是对的，但是实际的方法名，参数类型，参数要从rpc报文的参数中提取出来。

GenericFilter就是用来做这件事情。

在提供者这边，针对泛化调用的逻辑全部封装到了GenericFilter，解耦的非常好。

注意第4个条件，一开始很疑惑，后来发现rpc报文中的path是目标接口的，这边invoker.getInterface()返回的肯定就是实际接口了

这边有个疑问，为什么这边还要再次反序列化一次，netty不是有decoder么？？

嗯，你别忘了，针对一个POJO你传过来是一个Map，从Map转换为POJO需要这边进一步处理。

这边需要注意一下！！针对接口的泛化调用，抛出的异常都会经过GenericException包装一下。

从功能上来看，泛化调用提供了在没有接口依赖情况下进行的解决方案，丰富框架的使用场景。
从设计上来看，泛化调用的功能还是通过扩展的方式实现的，侵入性不强，值得学习借鉴。

Duplicate spring bean id 问题调查

问题背景 ：从本地调用服务器的dubbo接口进行测试

实现思路 ：基于IDEA+Spring+maven+Dubbo搭建测试项目，从本地直接调用

具体实现思路可参考博客： https://www.cnblogs.com/xiuxingzhe/p/9250737.html

碰到问题 ：引入测试目标jar后，调用其接口运行测试类时，报错如下
Caused by: java.lang.IllegalStateException: Duplicate spring bean id cfgDistributorServiceImpl

    at com.alibaba.dubbo.config.spring.schema.DubboBeanDefinitionParser.parse(DubboBeanDefinitionParser.java:106)

    at com.alibaba.dubbo.config.spring.schema.DubboBeanDefinitionParser.parse(DubboBeanDefinitionParser.java:77)

    at org.springframework.beans.factory.xml.NamespaceHandlerSupport.parse(NamespaceHandlerSupport.java:74)

    at org.springframework.beans.factory.xml.BeanDefinitionParserDelegate.parseCustomElement(BeanDefinitionParserDelegate.java:1411)

    at org.springframework.beans.factory.xml.BeanDefinitionParserDelegate.parseCustomElement(BeanDefinitionParserDelegate.java:1401)

    at org.springframework.beans.factory.xml.DefaultBeanDefinitionDocumentReader.parseBeanDefinitions(DefaultBeanDefinitionDocumentReader.java:168)

    at org.springframework.beans.factory.xml.DefaultBeanDefinitionDocumentReader.doRegisterBeanDefinitions(DefaultBeanDefinitionDocumentReader.java:138)

    at org.springframework.beans.factory.xml.DefaultBeanDefinitionDocumentReader.registerBeanDefinitions(DefaultBeanDefinitionDocumentReader.java:94)

    at org.springframework.beans.factory.xml.XmlBeanDefinitionReader.registerBeanDefinitions(XmlBeanDefinitionReader.java:508)

    at org.springframework.beans.factory.xml.XmlBeanDefinitionReader.doLoadBeanDefinitions(XmlBeanDefinitionReader.java:392)
调查思路 ：

1.检查项目中spring是否加载了两个一样的配置文件

 spring对于id的重复，默认的处理策略是覆盖

 但是dubbo的新版本对重复的id做了特殊处理，如果有重复直接抛异常，就会出现上述问题

 检查结果：自己的项目中并没有重复加载配置文件



2.spring扫描项目时，不仅会扫描当前项目中dubbo消费者，新建的类等需要注册的bean

　还会扫描pom.xml中引入的jar包中的带有以下注解的类：@Component，@Repository，@Service，@Controller，@RestController，@ControllerAdvice, @Configuration

　所以在引入包的时候，不能引入service包，因为service层的类多包含有注解@service，需要引入的是facade接口层的jar包
   检查了一下，自己引入的就是service层的jar包，至此问题找到了



            com.msa.base

            base-service

            1.0-SNAPSHOT
修改成facade层的引入



            com.msa.base

            base-service-facade

            1.0-SNAPSHOT
　 重跑测试类：调用成功 关于python 调用dubbo接口测试和的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 python 调用dubbo接口测试的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、python 调用dubbo接口测试的信息别忘了在本站进行查找喔。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。