【Springboot系列】整理了常用的限流方案,全乎了,随便挑一个

系列地址:https://gamwatcher.blog.csdn.net/article/details/124603278

1、为什么限流 

北京清早上班的地铁大家应该都有了解,在地铁站外面有一圈一圈的铁栏杆,这是为什么呐?为了限流!

试想一下,如果大家一下全都挤进地铁站,但是车的运载能力是有限的,超过了就会出现安全问题,到时候地铁站就没办法运行了,会造成整个地铁系统都崩溃了。

同样,程序也是这样。在线上提供服务的时候,有时候有突发流量,如何处理才能保证整个系统的稳定性,限流方案是一定要有的。

2、限流算法

2.1 漏桶算法

漏桶的的解决思路是最直接的,也是最简单的,就是请求到来之后先判断是否能够服务,判断服务的标准就是时间尺度,

简单理解,就是如果1s服务一个请求,如果最多服务10个,超过了就直接解决,没超过就放过去。

简单实现一个

public class Bucket {
    private int capacity;  // 桶的容量
    private int water;     // 当前水量
    private long lastLeakTime;  // 上一次漏水的时间

    public Bucket(int capacity) {
        this.capacity = capacity;
        this.water = 0;
        this.lastLeakTime = System.currentTimeMillis();
    }

    // 尝试加水,返回是否加水成功
    public synchronized boolean tryAddWater(int amount) {
        long now = System.currentTimeMillis();
        // 先漏水
        int leakedWater = (int) ((now - lastLeakTime) * 1.0 / 1000 * capacity);
        water = Math.max(0, water - leakedWater);
        lastLeakTime = now;
        // 再加水
        if (water + amount <= capacity) {
            water += amount;
            return true;
        }
        return false;
    }
}

2.2 令牌桶算法

令牌桶算法的原理也比较简单,我们可以理解成医院的挂号看病,只有拿到号以后才可以进行诊病。

系统会维护一个令牌( token )桶,以一个恒定的速度往桶里放入令牌( token ),这时如果有请求进来想要被处理,则需要先从桶里获取一个令牌( token ),当桶里没有令牌( token )可取时,则该请求将被拒绝服务。令牌桶算法通过控制桶的容量、发放令牌的速率,来达到对请求的限制。

注:Guava RateLimiter就是令牌桶实现

2.3 计数算法

在接口中收到请求之后计数+1,在接口处理完成之后再计数-1,通过控制总的数据达到限流的目的

2.4 滑动窗口算法

如果学过TCP网络协议的话,那么一定对滑动窗口这个名词不会陌生,

整个矩形框表示一个时间窗口,一个时间窗口就是一分钟。然后我们将时间窗口进行划分,比如图中,我们就将滑动窗口划成了6格,所以每格代表的是10秒钟。每过10秒钟,我们的时间窗口就会往右滑动一格。每一个格子都有自己独立的计数器counter,比如当一个请求在0:35秒的时候到达,那么0:30~0:39对应的counter就会加1。

2.5 总结

  • 令牌桶算法:获取令牌的请求才会被处理,其他请求要么排队要么直接被丢弃,桶存放指定的令牌数
  • 漏桶算法:漏桶是将请求放到桶里,若是桶满了,其他请求将被丢弃,桶里的请求以恒定的速率从桶内流出
  • 滑动窗口:当时间窗口的跨度越长,限流效果越平滑;

3、限流插入点

3.1、filter过滤器

Spring Boot 提供了一个过滤器框架,可以通过编写自定义过滤器来实现限流。该过滤器可以根据请求的频率、IP、用户等信息进行限流,从而保护应用程序免受恶意攻击和过度使用的影响。

public class RateLimitFilter implements Filter {
    // 每秒最大请求数
    private final double permitsPerSecond = 10;
    private final RateLimiter rateLimiter = RateLimiter.create(permitsPerSecond);

    @Override
    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
        if (rateLimiter.tryAcquire()) {
            // 放行请求
            chain.doFilter(request, response);
        } else {
            // 返回限流错误
            HttpServletResponse httpServletResponse = (HttpServletResponse) response;
            httpServletResponse.setStatus(HttpStatus.TOO_MANY_REQUESTS.value());
        }
    }
}

@Configuration
public class WebConfig {
    @Bean
    public FilterRegistrationBean<RateLimitFilter> rateLimitFilter() {
        FilterRegistrationBean<RateLimitFilter> registrationBean = new FilterRegistrationBean<>();
        registrationBean.setFilter(new RateLimitFilter());
        registrationBean.addUrlPatterns("/*");
        registrationBean.setOrder(1);
        return registrationBean;
    }
}

3.2 、拦截器(Interceptor)

创建一个 RateLimitInterceptor 类,并实现 HandlerInterceptor 接口。在 preHandle 方法中,使用 Redis 的 incr 方法对当前请求的 IP 地址进行计数,并将计数结果与预设的阈值进行比较。如果计数结果超过阈值,则返回 false,表示请求被限流。

public class RateLimitInterceptor implements HandlerInterceptor {

    private RedisTemplate<String, Object> redisTemplate;

    public RateLimitInterceptor(RedisTemplate<String, Object> redisTemplate) {
        this.redisTemplate = redisTemplate;
    }

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        String ip = request.getRemoteAddr();
        String key = "rate_limit:" + ip;
        Long count = redisTemplate.opsForValue().increment(key, 1);
        if (count != null && count > 10) {
            response.getWriter().write("请求过于频繁,请稍后再试!");
            return false;
        }
        return true;
    }

    // 在 afterCompletion 方法中清除计数器
    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception {
        String ip = request.getRemoteAddr();
        String key = "rate_limit:" + ip;
        redisTemplate.delete(key);
    }
}

然后,在 WebMvcConfigurer 中注册拦截器:

@Configuration
public class WebMvcConfig implements WebMvcConfigurer {

    private RedisTemplate<String, Object> redisTemplate;

    public WebMvcConfig(RedisTemplate<String, Object> redisTemplate) {
        this.redisTemplate = redisTemplate;
    }

    @Override
    public void addInterceptors(InterceptorRegistry registry) {
        registry.addInterceptor(new RateLimitInterceptor(redisTemplate)).addPathPatterns("/**");
    }
}

3.3、AOP

AOP这个基本上是能解决所有的了,面向方法做个切面,至于切面中实现怎么样的业务逻辑根据限流的具体算法实现,

3.4 总结

过滤器,拦截器拦截的是URL。AOP拦截的是类的元数据(包、类、方法名、参数等)。

4、限流工具

4.1 Guava RateLimiter

这个是谷歌提供的一个限流的类,看到实现就知道做什么了,

RateLimiter是一个基于令牌桶算法实现的限流器,常用于控制网站的QPS。与Semaphore不同,Semaphore控制的是某一时刻的访问量,RateLimiter控制的是某一时间间隔的访问量。

public void testAcquire() {
      // 创建一个限流器,参数代表每秒生成的令牌数
      RateLimiter limiter = RateLimiter.create(1);

      for(int i = 1; i < 10; i = i + 2 ) {
          // limiter.acquire以阻塞的方式获取令牌。
          // 当然也可以通过tryAcquire(int permits, long timeout, TimeUnit unit)来设置等待超时时间的方式获取令牌,
          // 如果超timeout为0,则代表非阻塞,获取不到立即返回
          double waitTime = limiter.acquire(i);
          System.out.println("cutTime=" + System.currentTimeMillis() + " acq:" + i + " waitTime:" + waitTime);
      }
  }

4.2 消息队列

消息队列限流是指在服务器面临大量流量时,将请求放到消息队列进行削峰,不至于一下全部到应用服务器。

这个应用场景比较多的在电商活动中,比如秒杀,抢购等场景中。将抢购中放到消息队列中,应用服务器慢慢处理。

基本上任何一个消息队列都有限流的功能

4.3 Zoo 和redis

zoo和redis 用来限流的主要原理是分布式锁的实现,通过对同一对象操作,实现分布式锁,计数可以实现分布式限流

4.4 框架 Sentinel

Sentinel 是面向分布式服务架构的高可用流量防护组件,主要以流量为切入点,从限流、流量整形、熔断降级、系统负载保护、热点防护等多个维度来帮助开发者保障微服务的稳定性。

5、总结

限流的目的是保证系统的可用

限流的原则是使流量稳定通过

限流的插入方式根据自己项目进行选择,简单的就是好的

如果自己实现,可以简单组合下,并没有太多难度


19个新媒体大类(视频、音频、直播、社群、微博、社区团购、行业垂直、知识付费、信息资讯、传统电商、社交交友、运动健身、资讯搜索、地图导航、旅游、网站、浏览器、本地生活、其他热门App),引导新媒体全网运营;17个章带你打通全网数字化营销。

一本新媒体百科全书,让你用一本书实现新媒体全网运营一本通!

猜你喜欢

转载自blog.csdn.net/perfect2011/article/details/129666836