vlambda博客
学习文章列表

dubbo专题-负载均衡策略

每天 07:30 更新文章,每天进步一点点


dubbo专题-负载均衡策略


精品专栏

 



  • 一、概念

  • 二、负载均衡作用
  • 三、负载均衡策略
  • 四、配置使用
  • 五、代码下载


一、概念


         

      什么是负载均衡呢?在访问量较大的情况下,通过水平扩容的方式增加多个节点来分散处理请求的流量,从而提升服务的整体性能。


例如:       


 一个服务节点的tps是100,如果增加到10个节点的集群,意味着这个服务的tps可以达到1000,从而提升了服务的性能。        


那么现在有10个节点,服务请求者应该请求哪个节点来获取对应的服务呢?这就取决于负载均衡算法,该算法可以让每个服务器节点获得适合自己节点处理能力的负载。


二、负载均衡作用



        其出发点,自然也就是普通的负载均衡器的出发点了。将负载均衡功能实现在rpc客户端侧,以便能够随时适应外部的环境变化,更好地发挥硬件作用。而且客户端的负载均衡天然地就避免了单点问题。定制化的自有定制化的优势和劣势。

  它可以从配置文件中指定,也可以在管理后台进行配置修改。

  事实上,它支持 服务端服务/方法级别、客户端服务/方法级别 的负载均衡配置。




三、负载均衡策略



        Dubbo提供了5种负载均衡策略,默认的是Random(随机调用)。如果这5种策略不能满足实际的需求,可以基于DubboSPI机制来扩展。


5种负载均衡策略如下表:

算法名称 特性 备注
RandomLoadBalance 加权随机 默认算法,默认权重相同
RoundRobinLoadBalance 加权轮询 借鉴于 Nginx 的平滑加权轮询算法,默认权重相同
LeastActiveLoadBalance 最少活跃优先 + 加权随机 背后是能者多劳的思想
ShortestResponseLoadBalance 最短响应优先 + 加权随机 更加关注响应速度
ConsistentHashLoadBalance 一致性 Hash 确定的入参,确定的提供者,适用于有状态请求


1、Random

  • 加权随机策略:按权重设置随机概率。

  • 在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。


  • 缺点是:存在慢的提供者累积请求的问题,例如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调到第二台上。


这里如果有需要软件开发需求的或者其他,可以联系我,文章结尾处有联系方式。


2、ShortestResponse

  • 加权最短响应优先策略在最近一个滑动窗口中,响应时间越短,越优先调用。相同响应时间的进行加权随机。

  • 使得响应时间越快的提供者,处理更多的请求。

  • 缺点是:可能会造成流量过于集中于高性能节点的问题。

这里的响应时间 = 某个提供者在窗口时间内的平均响应时间,时间默认是 30s。


3、ConsistentHash

  • 一致性 Hash策略相同参数的请求总是发到同一提供者。

  • 当某一台提供者挂时,原本发往该提供者的请求,基于虚拟节点,平摊到其它提供者,不会引起剧烈变动。


  • 算法参见:Consistent Hashing | WIKIPEDIA

  • 缺省是:只对第一个参数 Hash,如果要修改,请配置

<dubbo:parameter key="hash.arguments" value="0,1" />
  • 缺省用 160 份虚拟节点,如果要修改,请配置


<dubbo:parameter key="hash.nodes" value="320" />





4、RoundRobin

  • 加权轮询策略:按公约后的权重设置轮询比率,循环调用节点


  • 缺点是:同样存在慢的提供者累积请求的问题。

加权轮询过程过程中,如果某节点权重过大,会存在某段时间内调用过于集中的问题。


例如:ABC 三节点有如下权重:{A: 3, B: 2, C: 1}那么按照最原始的轮询算法,调用过程将变成:A A A B B C

这里如果有需要软件开发需求的或者其他,可以联系我,文章结尾处有联系方式。


dubbo 借鉴 Nginx 的平滑加权轮询算法,对此做了优化,调用过程可抽象成下表:


轮前加和权重

本轮胜者

合计权重

轮后权重(胜者减去合计权重)

起始轮

\

\

A(0), B(0), C(0)

A(3), B(2), C(1)

A

6

A(-3), B(2), C(1)

A(0), B(4), C(2)

B

6

A(0), B(-2), C(2)

A(3), B(0), C(3)

A

6

A(-3), B(0), C(3)

A(0), B(2), C(4)

C

6

A(0), B(2), C(-2)

A(3), B(4), C(-1)

B

6

A(3), B(-2), C(-1)

A(6), B(0), C(0)

A

6

A(0), B(0), C(0)


发现经过合计权重(3+2+1)轮次后,循环又回到了起点,整个过程中节点流量是平滑的,且哪怕在很短的时间周期内,概率都是按期望分布的。

如果用户有加权轮询的需求,可放心使用该算法。


这里如果有需要软件开发需求的或者其他,可以联系我,文章结尾处有联系方式。


5、LeastActive

  • 加权最少活跃调用优先策略:活跃数越低,越优先调用,相同活跃数的进行加权随机。活跃数指调用前后计数差(针对特定提供者:请求发送数 - 响应返回数),表示特定提供者的任务堆积量,活跃数越低,代表该提供者处理能力越强。

  • 优点是:使慢的提供者收到更少请求,因为越慢的提供者的调用前后计数差会越大;相对的,处理能力越强的节点,处理更多的请求。



四、配置使用



如何使用呢,从不同级别去配置使用如下:


  • 服务端--服务级别 

<dubbo:service interface="..." loadbalance="roundrobin" />
  • 客户端--服务级别 

<dubbo:reference interface="..." loadbalance="roundrobin" />
  • 服务端--方法级别 

<dubbo:service interface="..."> <dubbo:method name="..." loadbalance="roundrobin"/></dubbo:service>
  • 客户端--方法级别 

<dubbo:reference interface="..."> <dubbo:method name="..." loadbalance="roundrobin"/></dubbo:reference>


多个配置是有覆盖关系的, 配置的优先级是:

    1. 客户端方法级别配置;(最优先)
    2. 客户端接口级别配置;
    3. 服务端方法级别配置;
    4. 服务端接口级别配置;(最后使用)

五、代码下载


  

  • 后续会增加dubbo主题的其他文章

  • 有条件的可以点点文中*告,感谢大家的支持

    



软件定制及其他业务

文章有帮助的话,在看,转发吧。

谢谢支持哟 (*^__^*)