REDIS基础要点
阅读原文时间:2023年07月09日阅读:3

简述:redis 单实例,单进程,当线程处理用户请求数据,基于内存对数据处理。Redis默认分为0-16号库,每个库互相隔离(数据不共享)

基础复习:

1,系统中的每个进程对应有一个fd,通过网卡连接系统的每个连接会产生一个fd

2,一个进程会有自己内存工作空间称之为用户空间,kernel工作空间称为内核空间,进程和kernel交互会发生内存拷贝

系统内核Nio处理的发展历程:

Redis快速原因:

1,基于内存,避免了磁盘IO性能影响
     2,使用kernel epoll机制,减少内核态用户态之间频繁调用
     3,单线程“顺序”处理client请求避免多线程锁的问题

Redis Value Type:

Strings,基本操作 set ,get,append,strlen,setrange,getrange

(1)set k1 val1 [nx/xx]  //nx不存在才能创建,已存在则失败 ,xx已存在才更新value

(2)string包含数值类,可以对数值类value进行直接操作  incr k (+1),incrby k 50(+50) decr k2(-1) decrby 3(-3)

(3)mset k1 v1 k2 v2 //批量创建  mget k1 k2 //批量获取

(4)expire k1 5 //设置key有效时间5s  set k1 20 ex 5 //创建时指定key的时间    ttl k1  //查询k1剩余时间

(5)getrange k1 2 5 //取出索引2-5的内容  setrange k1 5 tatata  //指定索引范围设置内容

 bitmap: setbit k1 [position] [bitvalue]
 bitpos k1 [bitvalue] [start][end]//在指定字符范围查找,bitvalue首次出现位置
 bitcount k1 [start][end]//在指定字符范围查找1 count

 案例:一,统计用户登录400bit,1bit 1day
 setbit  k1 [day], 1   count k1
  二,统计活跃用户(去重处理)日期key,按位或计算处理
 set 20190101 1 1 , set 20190101 7 1 ,set 20190102 1 1
 bitop or destkey 20190101 20190103
 bitcount destkey 0 -1

Lists,基本操作 rpush, lpush,lrange,rpop,可作为栈,队列,数组,阻塞/插队

(1)rpush k1 a,b,c   lpush first //左边为head,右边为tail,(first a b c)

(2)lrange k1 0 -1  //正序输出  rrange //倒序输出

(3)ltrim k1 [start] [end]  //保留前N条数据,剔除老数据

(4)brpop k1 [seconds]//阻塞提取元素,0为一只等待,其它超时返回

Hashes,基本操作 hmset hmget hget hincby,用于点赞,收藏,详情

(1)hmset  person:100 name tom sex man birth 1998-01-01
(2)hget person:100 name//获取单一属性值    hgetall //获取全部属性名和值
hmget person:100 name sex birth //只获取属性值

Sets, 无序唯一,随机,用于抽奖,打标签

(1)sadd k1 v1 v2 v3 //添加元素   smembers  k1//查询元素   sismember k1元素是否存在
(2)sinterstore kdest k1 k2 //存储交集结果,减少io输出(sinte会产生IO结果输出)
    sunionrestore   //并集合结果存储
    srandmember   //整数,取出去重结果(范围内)负数,重复结果集满足数量

Sorted set,唯一且按score排序  如:a.score>b.score 则 a>b 若score相同则按key的字典序处理

  常用操作,
  zadd k1 score v1 //添加   zrange k1 0 -1//正序  zrevrange k1//倒序
  zrange k1 0 -1 withscores//带score值输出
  zrangebyscore k1 //筛选匹配区间元素
  zremrangebyscore k1 [start score][end score]//移除区间内的元素

索引:redis支持正向索引与反向索引,反向-1表示最后,-2表示最后一位-1

redis过期判定:

  1,被动判定:当过期key达到过期后暂不清理,client下次访问这key在处理

  2,主动判定:每隔一段时间随机抽取20,发现已过期key删除,如此次已过期的key超过样本量的25%,则继续重新随机,查找,删除,直到样本内过期key低于25%

redis持久化:

linux fork机制,父进程,子进程

Linux父进程fork子进程后,子进程会包含父进程此时内存里数据,后续当父进程数据发生修改子进程不受影响。同样子进程内数据变化也不影响父进程数据,即两者之间数据隔离。

fork cow机制:当内存数据发生变化,系统不会直接修改原值,将要修改的数据copy一副到新地址后再修改新值

 注: fork进程速度快,省内存!

1,创建子进程并不会发生内存复制,只不过是两者的内存指向同一个内存地址

2,当父进程内数据发生改变,父进程会使用cow机制,子进程内数据并不会受到影响,保证了时点数据完整性

 

Redis之穿透,雪崩:

发生前提:发生了大量并发请求

击穿问题:如果大量请求key不在业务范围内且绕过service和Redis到达db,导致db引起压力的问题

雪崩问题:大量的key同时过期或不存在cache,导致请求全部打到db,,导致db引起压力的问题

解决方法:

  击穿的解决:增加布隆过滤器,无效的key拦截掉

  雪崩的解决:

  1,非一致整点数据,使用随机数使过期时间分散

  2,时点性数据,需要web service辅助(延时处理,限制请求进入数量)

Redis集群模式:

AKF拆分原则:

    X:全量镜像,解决可用性问题

    Y:业务功能拆分,解决压力问题

    Z:数据拆分,解决容量问题

  集群模式:

  1,主从复制:(master-slave model)

集群中容量问题:当数据业务无法拆分或大一业务数据量过多会导致redis扩容问题

解决方案:

  (1)哈希取模,缺点:模数值固定影响扩展

  (2)一致性哈希,环形hash,虚拟节点,解决数据倾斜

  2,无主模型(分片):

  (1)data slot:通过hash算法将数据分散到集群中的每个节点上,即数据分制
  (2)client随机连接Redis节点,若key在此节点则处理,如果slot在其它节点则redirect到slot节点地址去处理
  (3)如集群中某个节点负责的slots无法提供服务则导致整个集群无法对外服务,所以备份节点需要多台

  Redis 延迟问题: 

  不合理使用命令和数据结构:
    当数据量达到一定级别时,某些命令的执行就会花费大量时间,比如对一个包含上万个元素的 hash 结构执行 hgetall 操作。对于键值较多的 hash 结构可以使用 scan 系列命令来逐步遍历,而不是直接使用 hgetall 来全部获取。
  建议对于键值较多的 hash 结构可以使用 scan 系列命令来逐步遍历,而不是直接使用 hgetall 来全部获取。发现大对象,redis-cli -h {ip} -p {port} --bigkeys 持续采样,实时输出当时得到的 value 占用空间最大的 key 值

  持久化阻塞:当我们开启AOF持久化功能时,文件刷盘的方式一般采用每秒一次,后台线程每秒对AOF文件做 fsync 操作。当硬盘压力过大时,fsync 操作需要等待,直到写入完成