分布式限流框架 - Sentinel
Sentinel是面向分布式服务架构的轻量级流量控制组件,主要以流量为切入点,从限流、流量整形、服务降级、系统负载保护等多个维度来帮助我们保障微服务的稳定性。
稳定是系统的基础能力,稳定性差的系统会出现服务超时或服务不可用,给用户带来不好的体验,也会对业务造成不良影响。
Sentinel的特性
Sentinel有如下特性:
应用场景丰富:几乎涵盖所有的应用场景,例如秒杀、消息削峰填谷、集群流量控制等。
实时监控:Sentinel提供了实时监控功能,开发者可以在控制台中看到接入应用的单台机器秒级数据,甚至500台以下规模的集群汇总运行情况。
支持开源生态:Sentinel提供开箱即用的与其它开源框架的整合,例如Spring Cloud、Dubbo、gRPC的整合。开发者只需要引入相应的依赖并进行简单的配置即可快速接入Sentinel。
支持SPI扩展点:Sentinel提供SPI扩展点支持,开发者可以通过扩展点来定制化限流规则,动态数据源适配等需求。
Sentinel分为两个部分:
核心库(Java客户端):不依赖任何框架,能够运行于所有Java运行时环境,同时对Dubbo、Spring Cloud等框架也有较好的支持。
控制台(Dashboard):基于Spring Boot开发,打包后可以直接运行,不需要额外的Tomcat等应用容器。
Sentinel的部署
Sentinel提供一个轻量级的开源控制台,它支持机器发现以及健康情况管理、监控、规则管理和推送等功能。
Sentinel Dashboard的安装步骤如下:
在GitHub中Sentinel的源码仓库中下载源码或者下载已经构建好的jar
通过以下命令启动控制台
java -Dserver.port=7777 -Dcsp.sentinel.dashboard.server=localhost:7777 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard.jar
默认登陆的用户名和密码都是sentinel
Sentinel的基本应用
Sentinel实现限流
使用Sentinel的核心库实现限流,主要分以下几个步骤:
定义资源
定义限流规则
检验规则是否生效
资源就是通过限流保护的基本元素,比如一个方法。
首先需要引入Sentinel的核心库:
<dependency>
<groupId>com.alibaba.csp</groupId>
<artifactId>sentinel-core</artifactId>
<version>1.7.1</version>
</dependency>
然后定义一个普通的业务方法:
private static void testSentinel() {
try (Entry entry = SphU.entry("testSentinel")) {
System.out.println("Test Sentinel " + System.currentTimeMillis());
} catch (BlockException e) {
//
}
}
在testSentinel方法中,通过使用Sentinel中的SphU.entry(“testSentinel”)定义一个资源来实现流控的逻辑,它表示当请求进入testSentinel方法时,需要进行限流判断,如果抛出BlockException异常, 则表示触发了限流。
接着我们要针对这个需要保护的资源定义限流规则:
private static void intiFlowRules() {
List<FlowRule> rules = new ArrayList<>();
FlowRule rule = new FlowRule();
rule.setResource("testSentinel");
rule.setGrade(RuleConstant.FLOW_GRADE_QPS);
rule.setCount(20);
rules.add(rule);
FlowRuleManager.loadRules(rules);
}
对于资源testSentinel,通过initFlowRules方法设置限流规则,其中的参数含义如下:
Grade: 限流阈值类型,QPS模式或者并发线程数模式
count: 限流阈值
resource: 设置需要保护的资源,这个资源的名称必须与SphU.entry中使用的名称保持一致
所以,上面代码的意思是对于testSentinel这个方法,每秒钟最多允许通过20个请求。
最后,通过main方法进行测试:
public static void main(String[] args) {
intiFlowRules();
while (true) {
testSentinel();
}
}
运行main方法之后,可以在
1588859287000|2020-05-07 21:48:07|testSentinel|20|95214|20|0|0|0|0|0
1588859288000|2020-05-07 21:48:08|testSentinel|20|523818|20|0|0|0|0|0
1588859289000|2020-05-07 21:48:09|testSentinel|20|659792|20|0|0|0|0|0
上述日志对应字段的含义如下:
timestamp|yyyy-MM-dd HH:mm:ss|resource|passQps|blockQps|successQps|exceptionQps|rt|occupiedPassQps|concurrency|classification
passQps: 代表通过的请求
blockQps: 代表被阻止的请求
successQps: 代表成功执行完成的请求个数
exceptionQps: 代表用户自定义的异常
rt: 代表平均响应时长
occupiedPassQps: 代表优先通过的请求
concurrency: 代表并发量
classification: 代表资源类型
从日志中可以看出,这个程序每秒稳定输出20次,和规则中预先设定的阈值是一样的,而每秒被拒绝的请求高达60多万次。
资源的定义方式
在上面的例子中,我们通过抛出异常的方式来定义一个资源,也就是当资源被限流后,会抛出一个BlockException异常,这时我们需要捕获该异常进行限流后的处理:
private static void testSentinel() {
try (Entry entry = SphU.entry("resourceName")) {
// ......
} catch (BlockException e) {
// 被限流
}
}
其中,resourceName可以定义方法名称、接口名称或者其它的唯一标识。
除此之外,还可以通过返回布尔值的方式来定义资源:
if (SphO.entry("resourceName")) {
try {
// 被保护的业务逻辑
} finally {
SphO.exit();
}
} else {
// 资源访问被限制
}
在这种方式中,需要注意资源使用完成之后需要调用SphO.exit(),否则会导致调用链记录异常,抛出ErrorEntryFreeException异常。
Sentinel还可以使用@SentinelResource支持注解的方式来定义资源:
"findUserName", blockHandler = "blockHandlerForUserName") (value =
public String findUserName(String id) {
return "";
}
public String blockHandlerForUserName(String id, BlockException e) {
// 被限流后的处理方法
return "";
}
需要注意的是,blockHandler所配置的值blockHandlerForUserName会在触发限流之后调用,这个方法的定义必须和原始方法findUserName的返回值、参数保持一致,而且要增加BlockException参数。
Sentinel实现服务熔断
Sentinel实现服务熔断操作的配置和限流类似,不同之处在于限流采用的是FlowRule,而熔断中采用的是DegradeRule:
private static void initDegradeRule() {
List<DegradeRule> rules = new ArrayList<>();
DegradeRule degradeRule = new DegradeRule();
degradeRule.setResource("KEY");
degradeRule.setCount(10);
degradeRule.setGrade(RuleConstant.DEGRADE_GRADE_RT);
degradeRule.setTimeWindow(10);
degradeRule.setMinRequestAmount(5);
degradeRule.setRtSlowRequestAmount(5);
rules.add(degradeRule);
}
其中几个属性的说明如下:
grade: 熔断策略,支持秒级RT、秒级异常比例、分钟级异常数。默认是秒级RT
timeWindow: 熔断降级的时间窗口,单位为s,也就是触发熔断降级之后多长时间内自动熔断。
rtSlowRequestAmount: 在RT模式下,1s内持续多少个请求的平均RT超出阈值后触发熔断,默认值是5.
minRequestAmount: 触发的异常熔断最小请求数,请求数小于该值时即使异常比例超出阈值也不会触发熔断,默认值是5。
Sentinel提供三种熔断策略,对于不同策略,参数的含义也不相同。
平均响应时间(RuleConstant.DEGRADE_GRADE_RT): 如果1s内持续进入5个请求,对应的平均响应时间都超过了阈值(count,单位为ms),那么在接下来的时间窗口(timeWindow,单位为s)内,对这个方法的调用都会自动熔断,抛出DegradeException。
异常比例(RuleConstant.DEGRADE_GRADE_EXCEPTION_RATIO):如果每秒资源数大于等于minRequestAmount(默认值为5),并且每秒的异常总数占总通过量的比例超过阈值count(count的取值范围是[0.0,1.0],代表0% ~ 100%),则资源将进入降级状态。同样,在接下来的timeWindow之内,对于这个方法的调用都会自动触发熔断。
异常数(RuleConstant.DEGRADE_GRADE_EXCEPTION_COUNT):当资源最近一分钟的异常数目超过阈值之后,会触发熔断。需要注意的是,如果timeWindow小于60s,则结束熔断状态后仍然可能再进入熔断状态。
到此,我们对Sentinel已经有了基本的了解。