vlambda博客
学习文章列表

记一次线上使用redis时执行lua脚本的惨痛经历

一、简介

现如今是追求快速的生活,什么都要求快快快,为了赶上公交,迈开脚步拼命奔跑;总觉着公交很慢,恨不得插上翅膀在天空飞行。

我们每天抱着手机,每一刻都在刷新着网页,但凡手机中的内容显示时慢了一秒,内心也觉得相当愤怒:“这都是什么垃圾软件,连个网页都出不来”,

内心中早已吐糟了不知多少次……。作为程序员,我们当然知道这些事情,我们内心也很无奈,但是我们都是有志向的好青年,我们付出自己的全部,

哪怕是将软件的响应时间提高了几毫秒,那么我们的付出就是有价值的。

在软件开发中,为了提高程序的执行效率,我们做了很多努力,其中,有这么一款软件,它凭借执行快速高效稳定的特点,成功引起了我们的注意,

没错,它就是redis,一个很实用的工具软件,给与我们极大的帮助。

二、redis是什么

Redis 是一种开源(BSD 许可)、是一个内存中数据结构存储,可用作数据库、缓存和消息代理等。

redis的性能极高,读写速度可以达到10万次/s。

redis有丰富的数据类型,极大方便我们的使用。

redis的所有操作都是原子性的,这在实际使用中是很重要的一点。

redis还拥有丰富的特性,例如redis还支持 publish/subscribe,key过期等。

redis的优点还有很多,只要多多使用,肯定会发现更多的美的。


三、Lua脚本是什么

Lua 是一个小巧的脚本语言,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。

Redis 2.6 版本已经内嵌了Lua 解释器来支持 Lua 环境,执行lua脚本主要有以下优点:

3.1、减少网络开销,在 Lua 脚本中可以把多个命令放在同一个脚本中运行。

3.2、具有原子性,Redis 会将整个脚本作为一个整体执行,无需担心并发, 也就无需事务;

3.3、具有复用性,客户端发送的脚本可以存储在 Redis 中,这个脚本就可以被其他客户端复用从而完成同样的逻辑。


四、线上环境遇到的问题

有一个需求,为了提高执行效率,使用了lua脚本,代码如下:

String key = app:studentId:111;

// 只有当key存在时,才允许修改

String script = "if redis.call('exists', KEYS[1]) == 1 then return redis.call('hset', KEYS[1],KEYS[2],KEYS[3]) else return -1 end";

DefaultRedisScript redisScript = new DefaultRedisScript(script);

redisScript.setResultType(Long.class);

ArrayList<String> keys = new ArrayList<>();

keys.add(key);

keys.add("name");

keys.add("小张");

Object result = redisTemplate.execute(redisScript,keys);

if(result != null && Integer.parseInt(result.toString()) >= 0){

log.info("修改缓存学生信息成功!");

}else{

log.info("修改缓存学生信息失败,失败原因是:此key在缓存中不存在!");

}

代码编写完成后,经过简单测试,lua脚本可以正常运行,程序没有异常。

然后将项目部署到生产环境,此处代码开始抛出异常:
io.lettuce.core.RedisCommandExecutionException: ERR 'EVALSHA' command keys must in same slot

为什么会有异常呢?为什么本地测试是OK的,但是生产环境却抛出异常呢?


五、执行lua脚本时为什么出现异常呢

如上代码在本地测试是OK的,但是在生产环境却抛出异常,经过分析后可知,本地redis是单机模式;生产redis是集群模式。正是由于redis环境的不同导致了此次异常。

具体描述,如下:

5.1、单机模式下,执行如上lua脚本没有问题

5.2、Redis要求单个Lua脚本操作的key必须在同一个节点上,但是redis Cluster会将数据自动分布到不同的节点(虚拟的16384个slot,具体看官方文档)

5.3、简单描述:Redis cluster对多key操作有限制,要求命令中所有的key都属于一个slot,才可以被执行。

而这段代码在生产环境的redis集群模式中,违反了上述原则(keys中的key没有落到同一个slot中),所以导致抛出了异常。

如果,一个lua脚本中包含多个key,那么怎样才可以保证正确执行呢?请看keySlot算法。


六、正确的使用lua脚本

keySlot算法,如下:

所以有两个建议,如下:

建议1:开发功能,定义key时,key的格式中可以带有{},将多个key的共性标识放进去,保证这些key可以落在同一个节点

建议二:集群执行lua脚本时,提前使用keyslot 命令验证多个key是否都在同一个节点。

经过修复后,代码如下:(keys中只保留一个参数)

String key = app:studentId:111;

// 只有当key存在时,才允许修改

String script = "if redis.call('exists', KEYS[1]) == 1 then return redis.call('hset', KEYS[1],ARGV[1],ARGV[2]) else return -1 end";

DefaultRedisScript redisScript = new DefaultRedisScript(script);

redisScript.setResultType(Long.class);

ArrayList<String> keys = new ArrayList<>();

keys.add(key);

Object result = redisTemplate.execute(redisScript,keys,"name","小张");

if(result != null && Integer.parseInt(result.toString()) >= 0){

log.info("修改缓存学生信息成功!");

}else{

log.info("修改缓存学生信息失败,失败原因是:此key在缓存中不存在!");

}


七、后记

对技术有敬畏之心,对测试有敬畏之心,开发时多思考一步,测试时涵盖所有的case,那么后续将节省很多的时间与精力。