
高性能分布式限流:Redis+Lua真香!
什么是限流?为什么要限流?
限流,这个词其实并不陌生,在我们生活中也随处可见。做核酸时,工作人员会在核酸检测点的空地上摆放着弯弯曲曲的围栏,人们排着队左拐右拐的往前移动,其实这么做的目的就是限流!因为核酸检测的窗口是有限的,一下子进那么多人,没那么多空间让人们站下,就会造成拥挤,甚至会造成事故。所以需要限流!
同样的,我们的应用程序也是类似的,任何系统它处理请求的能力都是有限的,一旦请求多到超出系统的处理极限,系统就会崩溃。对于生产环境,崩溃是一个很大的生产事故,保不准就会给公司造成很大的损失,轻则赔款,重则判刑都是有可能的。所以今天我们就来聊一下如何实现高性能的限流。
重试、限流、熔断、降级被称为分布式系统高可用的四板斧。
不可避免地,
第一,我们一定要设置超时;
第二,要在一些场景里面去考虑重试的逻辑;
第三,考虑熔断的逻辑,不要被下游拖死;
第四,一定要有限流的逻辑,不要被上游打死。
当今社会,互联网公司的流量巨大,系统上线前需要对系统进行全面的流量峰值评估,以判断系统所能承载的最大瞬时请求数,尤其是像各种秒杀促销活动,为了保证系统不被巨大的流量压垮,会事先评估系统最大请数,并设置限流逻辑,以便在系统流量到达设定的阈值时,拒绝掉这部分流量,从而确保系统不会崩溃。
限流会导致用户在短时间内(这个时间段是毫秒级的)系统不可用,假设系统设置的每秒流量阈值是100,理论上一秒内第101个及之后的请求都会被限流,相当于拒绝服务,下一秒进来的请求能正常被响应,这也就是为什么我们抢购时,一会儿能进页面一会儿显示“请稍后”之类的提示语。相比于系统的短暂不可用,要比系统崩溃要好太多了。
对于限流有很多方式,最经典的几种就是,计数器法、滑动窗口、漏桶法、令牌桶等,今天北哥要讲的是采用Redis + Lua脚本实现高性能的分布式限流,下面就跟着北哥来一起实战吧。
分布式限流
所谓的分布式限流,其实道理很简单。分布式区别于单机限流的场景,它把整个分布式集群环境中所有服务器当做一个整体来考量。比如说针对IP限流,我们限制了1个IP每秒最多10个访问,不管来自这个IP地址的请求落在了哪台机器上,只要是访问了集群中的服务节点,那么都会受到限制规则的制约。
从上面的例子不难看出,我们必须将限流信息保存在一个“中心化”的组件上,这样它就可以获取到集群中所有机器的访问状态。
目前有两个比较主流的限流方案:
- 网关层限流。将限流规则应用在所有流量的入口处
- 中间件限流。将限流信息存储在分布式环境中某个中间件里(比如redis),每个组件都可以从这里获取到当前时间的流量统计,从而决定是否放行还是拒绝。
Redis+Lua实现高性能分布式限流
这篇文章介绍Redis+Lua实现分布式限流,很多小伙伴不知道Lua是什么,个人理解,Lua脚本和 MySQL数据库的存储过程比较相似,他们执行一组命令,所有命令的执行要么全部成功或者失败,以此达到原子性。也可以把Lua脚本理解为,一段具有业务逻辑的代码块。
而Lua本身就是一种编程语言(脚本语言),Redis 脚本使用 Lua 解释器来执行脚本。Reids 2.6 版本通过内嵌支持 Lua 环境。执行脚本的常用命令为 EVAL。详细参考https://www.redis.net.cn/tutorial/3516.html
虽然Redis 官方没有直接提供限流相应的API,但却支持了 Lua 脚本的功能,可以使用它实现复杂的令牌桶或漏桶算法,也是分布式系统中实现限流的主要方式之一。
并且通常我们使用Redis事务时,并不是直接使用Redis自身提供的事务功能,而是使用Lua脚本。相比Redis事务,Lua脚本的优点:
- 减少网络开销:使用Lua脚本,无需向Redis 发送多次请求,执行一次即可,减少网络传输
- 原子操作:Redis 将整个Lua脚本作为一个命令执行,原子,无需担心并发
- 复用:Lua脚本一旦执行,会永久保存 Redis 中,,其他客户端可复用
Lua脚本大致逻辑如下:
- 通过KEYS[1] 获取传入的key参数
- 通过ARGV[1]获取传入的limit参数
- redis.call方法,从缓存中get和key相关的值,如果为null那么就返回0
- 接着判断缓存中记录的数值是否会大于限制大小,如果超出表示该被限流,返回0
- 如果未超过,那么该key的缓存值+1,并设置过期时间为1秒钟以后,并返回缓存值+1
实战
首先创建一个springboot项目,在pom.xml中引入依赖:
配置RedisTemplate
首先application.properties配置Redis连接信息
然后通过@Bean配置RedisTemplate
创建自定义注解
然后我们创建自定义注解:
创建切面类RedisLimitAspect
大致逻辑是获取方法上的注解MyRedisLimiter,从注解上获取配置信息,组装keys和参数,然后调用RedisTemplate的execute方法获取当前时间内请求数,小于等于limitCount则不限流,否则限流降级处理。
到这里,最关键的Lua是如何使用的还没讲到。我们可以看到上述代码调用limitRedisTemplate.execute参数的第一个是redisScript,这便是Redis用于执行Lua脚本的重要支持。
加载Lua脚本
在切面类中,我们可以通过初始化加载Lua脚本,如下new ClassPathResource(LIMIT_LUA_PATH)
我们传入常量limit.lua,这是classpath下创建的脚本文件,Lua脚本如下,也很简单,就不在赘述。通常应该在limit.lua文件中放置脚本文件,这样如果需要修改脚本,仅需要修改文件重启即可。
降级
然后在降级方法中写我们的降级逻辑,通过抛异常或往HttpServletResponse写入返回信息都可以。
接口限流
好了,准备工作都ok了,下面我们在controller接口上加上注解,测试一下。
测试
接口限制每秒2个请求,我们使用jmeter1秒发10个请求
结果只有前两个成功了(上述降级采用的直接抛异常,方便在这里看到限流时下面时红色的)
总结
以上 springboot + aop + Lua 限流实现是比较简单的,旨在让大家认识下什么是限流?如何做一个简单的限流功能,面试要知道这是个什么东西。上面虽然说了几种实现限流的方案,但选哪种还要结合具体的业务场景,不能为了用而用。在真正的场景里,不止设置一种限流规则,而是会设置多个限流规则共同作用,如连接数、访问频率、黑白名单、传输速率等。
本文转载自公众号BiggerBoy
