redis中scan和keys的区别
阅读原文时间:2023年07月08日阅读:1

redis的keys命令,通来在用来删除相关的key时使用,但这个命令有一个弊端,在redis拥有数百万及以上的keys的时候,会执行的比较慢,更为致命的是,这个命令会阻塞redis多路复用的io主线程,如果这个线程阻塞,在此执行之间其他的发送向redis服务端的命令,都会阻塞,从而引发一系列级联反应,导致瞬间响应卡顿,从而引发超时等问题,所以应该在生产环境禁止用使用keys和类似的命令smembers,这种时间复杂度为O(N),且会阻塞主线程的命令,是非常危险的。

keys命令的原理就是扫描整个redis里面所有的db的key数据,然后根据我们的通配的字符串进行模糊查找出来。官网详细的介绍如下。

https://redis.io/commands/KEYS

取而代之的,如果需要查找然后删除key的需求,那么在生产环境我们应该使用scan命令,代替keys命令,同样是O(N)复杂度的scan命令,支持通配查找,scan命令或者其他的scan如SSCAN ,HSCAN,ZSCAN命令,可以不用阻塞主线程,并支持游标按批次迭代返回数据,所以是比较理想的选择。keys相比scan命令优点是,keys是一次返回,而scan是需要迭代多次返回。

https://redis.io/commands/scan

但scan命令的也有缺点,返回的数据有可能重复,需要我们在业务层按需要去重,scan命令的游标从0开始,也从0结束,每次返回的数据,都会返回下一次游标应该传的值,我们根据这个值,再去进行下一次的访问,如果返回的数据为空,并不代表没有数据了,只有游标返回的值是0的情况下代表结束。

redis命令例子如下:

scan 0 match my*key count 10000

在Java项目里面,使用jedis执行scan命令的模板例子如下:

           Jedis jedis = getJedis();               //存储返回的结果                Set<String> result=new HashSet<String>();                //设置查询的参数                ScanParams scanParams=new ScanParams().count(scanLimitSize).match(pattern);                //游标的开始                String cur=ScanParams.SCAN\_POINTER\_START;                do{                   //遍历每一批数据                    ScanResult<String> scan=jedis.scan(cur, scanParams);                    //得到结果返回                    List<String> scanResult =scan.getResult();                    result.addAll(scanResult);                    //获取新的游标                    cur=scan.getStringCursor();                //判断游标迭代是否结束                    }while (!cur.equals(ScanParams.SCAN\_POINTER\_START));                //返回结果                return result;
  • 方法一:通过 scan 先获取以“message:xxx:yyy🆔 ”为 Key 前缀的所有完整的 Key,再通过获取到的 Key 拿所有的 Value

/**
* 通过 key 获取 value
*


* pattern:message:xxx:yyy🆔
* limit:每次限制筛选的数量,不建议 Integer.MAX_VALUE
*/
public List assembleScanValues(String pattern, Long limit) {
List values = assembleScanKeys(pattern, limit);
return redisTemplate.opsForValue().multiGet(values).stream().filter(StringUtils::isNotBlank).collect(toList());
}

/**
* 组装 scan 的结果集
*/
public List assembleScanKeys(String pattern, Long limit) {
HashSet set = new HashSet<>();
Cursor cursor = scan(redisTemplate, pattern, limit);
while (cursor.hasNext()) {
set.add(cursor.next());
}
try {
cursor.close();
} catch (Exception e) {
log.error("关闭 redis connection 失败");
}
return set.stream().map(String::valueOf).collect(toList());
}
/**
* 自定义 redis scan 操作
*/
private Cursor scan(RedisTemplate redisTemplate, String pattern, Long limit) {
ScanOptions options = ScanOptions.scanOptions().match(pattern).count(limit).build();
RedisSerializer redisSerializer = (RedisSerializer) redisTemplate.getKeySerializer();
return (Cursor) redisTemplate.executeWithStickyConnection(new RedisCallback() {
@Override
public Object doInRedis(RedisConnection redisConnection)
throws org.springframework.dao.DataAccessException {
return new ConvertingCursor<>(redisConnection.scan(options), redisSerializer::deserialize);
}
});

  • 方法二:通过 scan 获取到 Key 的同时,去获取对应的 Value

/**
* 组装分布式缓存中的 value 值
*


* pattern:message:xxx:yyy🆔
* limit:每次限制筛选的数量,不建议 Integer.MAX_VALUE
*/
public List assembleScanValues(String pattern, Long limit) {
Set valueSet = scan(redisTemplate, pattern, limit);
return valueSet.stream().map(String::valueOf).collect(toList());
}

/**
* 组装 scan 的结果集
*/
private Set scan(RedisTemplate redisTemplate, String pattern, Long limit) {
return (Set) redisTemplate.execute(new RedisCallback>() {
@Override
public Set doInRedis(RedisConnection connection) throws DataAccessException {
Set valueSet = new HashSet<>();
try (Cursor cursor = connection.scan(new ScanOptions.ScanOptionsBuilder()
.match(pattern).count(limit).build())) {
while (cursor.hasNext()) {
byte[] bytes = connection.get(cursor.next());
String value = String.valueOf(redisTemplate.getValueSerializer().deserialize(bytes));
valueSet.add(value);
}
} catch (IOException e) {
log.error(String.format("get cursor close {%s}", e));
}
return valueSet;
}
});
}

参考及汇总自:https://qimok.cn/856.html https://cloud.tencent.com/developer/article/1440487