现如今是追求快速的生活,什么都要求快快快,为了赶上公交,迈开脚步拼命奔跑;总觉着公交很慢,恨不得插上翅膀在天空飞行。
我们每天抱着手机,每一刻都在刷新着网页,但凡手机中的内容显示时慢了一秒,内心也觉得相当愤怒:“这都是什么垃圾软件,连个网页都出不来”,
内心中早已吐糟了不知多少次……。作为程序员,我们当然知道这些事情,我们内心也很无奈,但是我们都是有志向的好青年,我们付出自己的全部,
哪怕是将软件的响应时间提高了几毫秒,那么我们的付出就是有价值的。
在软件开发中,为了提高程序的执行效率,我们做了很多努力,其中,有这么一款软件,它凭借执行快速高效稳定的特点,成功引起了我们的注意,
没错,它就是redis,一个很实用的工具软件,给与我们极大的帮助。
二、redis是什么
Redis 是一种开源(BSD 许可)、是一个内存中数据结构存储,可用作数据库、缓存和消息代理等。
redis的性能极高,读写速度可以达到10万次/s。
redis有丰富的数据类型,极大方便我们的使用。
redis的所有操作都是原子性的,这在实际使用中是很重要的一点。
redis还拥有丰富的特性,例如redis还支持 publish/subscribe,key过期等。
redis的优点还有很多,只要多多使用,肯定会发现更多的美的。
三、Lua脚本是什么
Lua 是一个小巧的脚本语言,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。
Redis 2.6 版本已经内嵌了Lua 解释器来支持 Lua 环境,执行lua脚本主要有以下优点:
3.1、减少网络开销,在 Lua 脚本中可以把多个命令放在同一个脚本中运行。
3.2、具有原子性,Redis 会将整个脚本作为一个整体执行,无需担心并发, 也就无需事务;
3.3、具有复用性,客户端发送的脚本可以存储在 Redis 中,这个脚本就可以被其他客户端复用从而完成同样的逻辑。
四、线上环境遇到的问题
有一个需求,为了提高执行效率,使用了lua脚本,代码如下:
String key = app:studentId:111;
// 只有当key存在时,才允许修改
String script = "if redis.call('exists', KEYS[1]) == 1 then return redis.call('hset', KEYS[1],KEYS[2],KEYS[3]) else return -1 end";
DefaultRedisScript redisScript = new DefaultRedisScript(script);
redisScript.setResultType(Long.class);
ArrayList<String> keys = new ArrayList<>();
keys.add(key);
keys.add("name");
keys.add("小张");
Object result = redisTemplate.execute(redisScript,keys);
if(result != null && Integer.parseInt(result.toString()) >= 0){
log.info("修改缓存学生信息成功!");
}else{
log.info("修改缓存学生信息失败,失败原因是:此key在缓存中不存在!");
}
代码编写完成后,经过简单测试,lua脚本可以正常运行,程序没有异常。
然后将项目部署到生产环境,此处代码开始抛出异常:
io.lettuce.core.RedisCommandExecutionException: ERR 'EVALSHA' command keys must in same slot
为什么会有异常呢?为什么本地测试是OK的,但是生产环境却抛出异常呢?
五、执行lua脚本时为什么出现异常呢
如上代码在本地测试是OK的,但是在生产环境却抛出异常,经过分析后可知,本地redis是单机模式;生产redis是集群模式。正是由于redis环境的不同导致了此次异常。
具体描述,如下:
5.1、单机模式下,执行如上lua脚本没有问题
5.2、Redis要求单个Lua脚本操作的key必须在同一个节点上,但是redis Cluster会将数据自动分布到不同的节点(虚拟的16384个slot,具体看官方文档)
5.3、简单描述:Redis cluster对多key操作有限制,要求命令中所有的key都属于一个slot,才可以被执行。
而这段代码在生产环境的redis集群模式中,违反了上述原则(keys中的key没有落到同一个slot中),所以导致抛出了异常。
如果,一个lua脚本中包含多个key,那么怎样才可以保证正确执行呢?请看keySlot算法。
六、正确的使用lua脚本
keySlot算法,如下:
所以有两个建议,如下:
建议1:开发功能,定义key时,key的格式中可以带有{},将多个key的共性标识放进去,保证这些key可以落在同一个节点
建议二:集群执行lua脚本时,提前使用keyslot 命令验证多个key是否都在同一个节点。
经过修复后,代码如下:(keys中只保留一个参数)
String key = app:studentId:111;
// 只有当key存在时,才允许修改
String script = "if redis.call('exists', KEYS[1]) == 1 then return redis.call('hset', KEYS[1],ARGV[1],ARGV[2]) else return -1 end";
DefaultRedisScript redisScript = new DefaultRedisScript(script);
redisScript.setResultType(Long.class);
ArrayList<String> keys = new ArrayList<>();
keys.add(key);
Object result = redisTemplate.execute(redisScript,keys,"name","小张");
if(result != null && Integer.parseInt(result.toString()) >= 0){
log.info("修改缓存学生信息成功!");
}else{
log.info("修改缓存学生信息失败,失败原因是:此key在缓存中不存在!");
}
七、后记
对技术有敬畏之心,对测试有敬畏之心,开发时多思考一步,测试时涵盖所有的case,那么后续将节省很多的时间与精力。