Spring Cloud Loadbalancer服务均衡负载器详解_Java

spring cloud loadbalancer

1、简介

spring cloud loadbalancer 是 spring cloud 中提供客户端负载均衡的组件之一，它的主要作用是在服务消费者和服务提供者之间实现负载均衡。

在微服务架构中，服务提供者往往会有多个实例，这些实例可以部署在不同的节点或者不同的地理位置。而服务消费者需要从这些实例中选择⼀个来处理请求，以避免单个实例过载或故障导致服务不可用。这时候就需要⼀个负载均衡组件来决定将请求分发到哪个实例上。spring cloud loadbalancer 封装了负载均衡算法，并提供了 loadbalancerclient 接口，通过这个接口，应用程序可以根据负载均衡策略从可用的服务实例列表中选择⼀个实例来处理请求。

与传统的负载均衡器相比，spring cloud loadbalancer 的优点在于它是⼀个基于应用程序的负载均衡器，可以与 spring cloud 中的其他组件集成，如服务注册中心、断路器、配置中心等，从而实现更灵活、更高效的微服务架构。

spring cloud 2020版本以后，默认移除了对netflix的依赖，其中就包括ribbon，官⽅默认推荐使用spring cloud loadbalancer正式替换ribbon，并成为了spring cloud负载均衡器的唯⼀实现。

2、实现原理

第1次访问：

节点数量状态变化主动推送消费者实例更新本地节点数据

3、模拟实现

在本节中，我们使用article-service和video-service来模拟服务间的负载均衡。

服务提供者：

这里我们使用video-service作为服务提供者，直接开启三个video-service模拟服务集群来提供服务

按照以上步骤，我们直接在本地的8001、8002、8003端口上配置了三个服务提供者video-service，然后逐一启动。

服务消费者：

在消费者端引入依赖

<dependency>
    <groupid>org.springframework.cloud</groupid>
    <artifactid>spring-cloud-loadbalancer</artifactid>
    <version>3.1.3</version>
</dependency>

java config实例化resttemplate对象，并使用@loadbalanced声明负载均衡当使用负载均衡器来调用多个服务实例时，可以使用 @balanced 注解标记 resttemplate 或webclient 实例。这会自动启用负载均衡功能，从而使请求在多个服务实例之间进行分布。

在使用@balanced 注解时，需要确保在应用程序中已配置了负载均衡器（如 ribbon 或 spring cloudloadbalancer）。同时，需要确保 resttemplate 或 webclient 已经配置为使用负载均衡器。

这里就不书写配置类，直接在启动类中向ioc容器注入resttemplate对象

@springbootapplication
@enablefeignclients //开启openfeign实现服务间rest通信
public class articleserviceapplication {

    @bean
    @loadbalanced
    public resttemplate resttemplate(){
        return new resttemplate();
    }

    public static void main(string[] args) {
        springapplication.run(articleserviceapplication.class, args);
    }

}

在使用时注入resttemplate对象，利用resttemplate对象发起http请求，注意：请求ip地址的地方此时改为要远程访问的服务名，如：video-service。

@restcontroller
public class articlecontroller {
    @resource
    private articleservice articleservice;

    @getmapping("/list")
    public list<article> list(){
        return articleservice.list();
    }

    @resource
    private resttemplate resttemplate;
    
    @getmapping("/remote-call")
    public string remotecall(){
        string result = resttemplate.getforobject("http://video-service/video?articleid=1648", string.class);
        return "remote:" + result;
    }

}

4、使用细节

spring cloud提供了自己的客户端负载均衡器抽象和实现。为了实现负载均衡机制，新增了reactiveloadbalancer接口，并提供了基于轮询和随机的实现。

为了从反应式的serviceinstancelistsupplier中获取实例进行选择，我们使用了⼀个serviceinstancelistsupplier的基于服务发现的实现，该实现使用了类路径下的discovery client来检索可用实例。

5、切换负载均衡算法

默认情况下使用的reactiveloadbalancer实现是roundrobinloadbalancer。要切换到不同的实现，无论是选择性的服务还是全部服务，您都可以使用自定义的loadbalancer配置机制。

例如，可以通过@loadbalancerclient注释传递以下配置，以切换到使用randomloadbalancer：

package com.dw.config;

import org.springframework.cloud.client.serviceinstance;
import org.springframework.cloud.loadbalancer.core.randomloadbalancer;
import org.springframework.cloud.loadbalancer.core.reactorloadbalancer;
import org.springframework.cloud.loadbalancer.core.serviceinstancelistsupplier;
import org.springframework.cloud.loadbalancer.support.loadbalancerclientfactory;
import org.springframework.context.annotation.bean;
import org.springframework.core.env.environment;


public class customloadbalancerconfiguration {
    @bean
    reactorloadbalancer<serviceinstance> randomloadbalancer(environment environment,
                                                            loadbalancerclientfactory loadbalancerclientfactory) {
        string name = environment.getproperty(loadbalancerclientfactory.property_name);
        return new randomloadbalancer(loadbalancerclientfactory
                .getlazyprovider(name, serviceinstancelistsupplier.class), name);
    }
}

注意：您作为 @ loadbalancerclient或 @ loadbalancerclients配置参数传递的类不应使用@configuration进⾏注释，或者在组件扫描范围之外。

应用代码：

@springbootapplication
@loadbalancerclients({
        @loadbalancerclient(value = "video-service",
        configuration = customloadbalancerconfiguration.class)
})
@enablefeignclients //开启openfeign实现服务间rest通信
public class articleserviceapplication {

    @bean
    @loadbalanced
    public resttemplate resttemplate(){
        return new resttemplate();
    }

    public static void main(string[] args) {
        springapplication.run(articleserviceapplication.class, args);
    }

}

应用程序可以使用 spring cloud 提供的 loadbalancerclient 对象来发起对 "video-service" 服务的调用，并自动进行负载均衡选择实例。

6、缓存方案

除了基本的 serviceinstancelistsupplier 实现每次需要选择实例时都通过 discoveryclient 检索实例之外，我们提供了两种缓存实现，以提高效率：

caffeine-backed loadbalancer缓存实现
默认 loadbalancer 缓存实现

如果在类路径中没有 caffeine，则会使用 defaultloadbalancercache。它自动随着 spring-cloud-starter-loadbalancer 提供。

如果要使用 caffeine 而不是默认缓存，请将 com.github.ben-manes.caffeine:caffeine 依赖项添加到类路径中。

loadbalancer 缓存配置

您可以通过将符合 spring boot 字符串到 duration 转换器语法的字符串作为spring.cloud.loadbalancer.cache.ttl 属性的值，设置自己的 ttl 值（写入后过多长时间条目应过期），以 duration 表示。您还可以通过设置 spring.cloud.loadbalancer.cache.capacity 属性的值，设置自己的 loadbalancer 缓存初始容量。

默认设置包括将 ttl 设置为 35 秒，而默认的 initialcapacity 为 256。

在 spring cloud loadbalancer 中，为了减少对服务注册中心的频繁调用，提⾼服务调用的性能，loadbalancer 会缓存服务实例列表。当⼀个请求需要访问某个服务时，loadbalancer 会先从缓存中查找可用的服务实例列表，如果缓存中没有可用的实例列表，则会重新从服务注册中心获取服务实例列表。因此，调整 spring.cloud.loadbalancer.cache.capacity 的值可以影响 loadbalancer 缓存的大小，从而影响缓存命中率和性能。

上面的配置将负载均衡器的缓存容量限制为 100 个实例。当缓存容量达到上限时，新的实例将覆盖旧的实例。这样，缓存将始终包含最新的实例列表，并且不会占用过多的内存资源。

我们还可以通过将 spring.cloud.loadbalancer.cache.enabled 的值设置为 false，完全禁用loadbalancer 缓存。

虽然基本的非缓存实现对于原型设计和测试很有用，但比缓存版本要低效得多，因此我们建议在生产中始终使用缓存版本。如果发现已经由 discoveryclient 实现（例如 eurekadiscoveryclient）进行了缓存，则应禁用负载平衡器缓存以防止双重缓存。

spring.cloud.loadbalancer.cache.enabled=true
spring.cloud.loadbalancer.cache.ttl=120s
spring.cloud.loadbalancer.cache.capacity=100

7、生命周期

使用自定义 loadbalancer 配置注册的⼀种有⽤的 bean 类型是 loadbalancerlifecycle。

loadbalancerlifecycle bean 提供了回调⽅法，命名如下：

onstart(request<rc> request)
onstartrequest(request<rc> request, response<t> lbresponse)
oncomplete(completioncontext<res, t, rc> completioncontext)

我们要实现这些方法来指定负载均衡前后应该发⽣的操作。

onstart(request<rc> request)

以 request 对象作为参数。它包含用于选择适当实例的数据，包括下游客户端请求和提示。

onstartrequest 也以 request 对象作为参数，此外还有 response<t> 对象。

另一方面，完成时提供了 completioncontext 对象给

oncomplete(completioncontext<res, t, rc>completioncontext)

方法。它包含 loadbalancer 响应，包括所选服务实例、针对该服务实例执行的请求的状态，（如果有）返回给下游客户端的响应，以及（如果发生异常）相应的 throwable。

supports(class requestcontextclass, class responseclass, class servertypeclass)

方法可用于确定所讨论的处理器是否处理提供的类型的对象。如果未被⽤户覆盖，则它返回 true。

案例：

@component
@slf4j
public class customloadbalancerlifecycle implements loadbalancerlifecycle
{
    @override
    public void onstart(request request) {
        log.info("》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》");
        log.info("starting load balancing for request: " + request);
    }
    @override
    public void onstartrequest(request request, response lbresponse) {
        log.info("selected service instance: " + lbresponse.getserver());
    }
    @override
    public void oncomplete(completioncontext completioncontext) {
        // 在负载均衡之后执⾏的操作
        log.info("load balancing completed for request: " + completioncontext.getloadbalancerrequest() +
                        ", with status: " + completioncontext.status());
        log.info("《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《");
    }
}

执行http://localhost:8101/remote-call，观察输出日志.