简述:redis 单实例,单进程,当线程处理用户请求数据,基于内存对数据处理。Redis默认分为0-16号库,每个库互相隔离(数据不共享)
基础复习:
1,系统中的每个进程对应有一个fd,通过网卡连接系统的每个连接会产生一个fd
2,一个进程会有自己内存工作空间称之为用户空间,kernel工作空间称为内核空间,进程和kernel交互会发生内存拷贝
系统内核Nio处理的发展历程:
Redis快速原因:
1,基于内存,避免了磁盘IO性能影响
2,使用kernel epoll机制,减少内核态用户态之间频繁调用
3,单线程“顺序”处理client请求避免多线程锁的问题
Redis Value Type:
Strings,基本操作 set ,get,append,strlen,setrange,getrange
(1)set k1 val1 [nx/xx] //nx不存在才能创建,已存在则失败 ,xx已存在才更新value
(2)string包含数值类,可以对数值类value进行直接操作 incr k (+1),incrby k 50(+50) decr k2(-1) decrby 3(-3)
(3)mset k1 v1 k2 v2 //批量创建 mget k1 k2 //批量获取
(4)expire k1 5 //设置key有效时间5s set k1 20 ex 5 //创建时指定key的时间 ttl k1 //查询k1剩余时间
(5)getrange k1 2 5 //取出索引2-5的内容 setrange k1 5 tatata //指定索引范围设置内容
bitmap: setbit k1 [position] [bitvalue]
bitpos k1 [bitvalue] [start][end]//在指定字符范围查找,bitvalue首次出现位置
bitcount k1 [start][end]//在指定字符范围查找1 count
案例:一,统计用户登录400bit,1bit 1day
setbit k1 [day], 1 count k1
二,统计活跃用户(去重处理)日期key,按位或计算处理
set 20190101 1 1 , set 20190101 7 1 ,set 20190102 1 1
bitop or destkey 20190101 20190103
bitcount destkey 0 -1
Lists,基本操作 rpush, lpush,lrange,rpop,可作为栈,队列,数组,阻塞/插队
(1)rpush k1 a,b,c lpush first //左边为head,右边为tail,(first a b c)
(2)lrange k1 0 -1 //正序输出 rrange //倒序输出
(3)ltrim k1 [start] [end] //保留前N条数据,剔除老数据
(4)brpop k1 [seconds]//阻塞提取元素,0为一只等待,其它超时返回
Hashes,基本操作 hmset hmget hget hincby,用于点赞,收藏,详情
(1)hmset person:100 name tom sex man birth 1998-01-01
(2)hget person:100 name//获取单一属性值 hgetall //获取全部属性名和值
hmget person:100 name sex birth //只获取属性值
Sets, 无序唯一,随机,用于抽奖,打标签
(1)sadd k1 v1 v2 v3 //添加元素 smembers k1//查询元素 sismember k1元素是否存在
(2)sinterstore kdest k1 k2 //存储交集结果,减少io输出(sinte会产生IO结果输出)
sunionrestore //并集合结果存储
srandmember //整数,取出去重结果(范围内)负数,重复结果集满足数量
Sorted set,唯一且按score排序 如:a.score>b.score 则 a>b 若score相同则按key的字典序处理
常用操作,
zadd k1 score v1 //添加 zrange k1 0 -1//正序 zrevrange k1//倒序
zrange k1 0 -1 withscores//带score值输出
zrangebyscore k1 //筛选匹配区间元素
zremrangebyscore k1 [start score][end score]//移除区间内的元素
索引:redis支持正向索引与反向索引,反向-1表示最后,-2表示最后一位-1
redis过期判定:
1,被动判定:当过期key达到过期后暂不清理,client下次访问这key在处理
2,主动判定:每隔一段时间随机抽取20,发现已过期key删除,如此次已过期的key超过样本量的25%,则继续重新随机,查找,删除,直到样本内过期key低于25%
redis持久化:
linux fork机制,父进程,子进程
Linux父进程fork子进程后,子进程会包含父进程此时内存里数据,后续当父进程数据发生修改子进程不受影响。同样子进程内数据变化也不影响父进程数据,即两者之间数据隔离。
fork cow机制:当内存数据发生变化,系统不会直接修改原值,将要修改的数据copy一副到新地址后再修改新值
注: fork进程速度快,省内存!
1,创建子进程并不会发生内存复制,只不过是两者的内存指向同一个内存地址
2,当父进程内数据发生改变,父进程会使用cow机制,子进程内数据并不会受到影响,保证了时点数据完整性
Redis之穿透,雪崩:
发生前提:发生了大量并发请求
击穿问题:如果大量请求key不在业务范围内且绕过service和Redis到达db,导致db引起压力的问题
雪崩问题:大量的key同时过期或不存在cache,导致请求全部打到db,,导致db引起压力的问题
解决方法:
击穿的解决:增加布隆过滤器,无效的key拦截掉
雪崩的解决:
1,非一致整点数据,使用随机数使过期时间分散
2,时点性数据,需要web service辅助(延时处理,限制请求进入数量)
Redis集群模式:
AKF拆分原则:
X:全量镜像,解决可用性问题
Y:业务功能拆分,解决压力问题
Z:数据拆分,解决容量问题
集群模式:
1,主从复制:(master-slave model)
集群中容量问题:当数据业务无法拆分或大一业务数据量过多会导致redis扩容问题
解决方案:
(1)哈希取模,缺点:模数值固定影响扩展
(2)一致性哈希,环形hash,虚拟节点,解决数据倾斜
2,无主模型(分片):
(1)data slot:通过hash算法将数据分散到集群中的每个节点上,即数据分制
(2)client随机连接Redis节点,若key在此节点则处理,如果slot在其它节点则redirect到slot节点地址去处理
(3)如集群中某个节点负责的slots无法提供服务则导致整个集群无法对外服务,所以备份节点需要多台
Redis 延迟问题:
不合理使用命令和数据结构:
当数据量达到一定级别时,某些命令的执行就会花费大量时间,比如对一个包含上万个元素的 hash 结构执行 hgetall 操作。对于键值较多的 hash 结构可以使用 scan 系列命令来逐步遍历,而不是直接使用 hgetall 来全部获取。
建议对于键值较多的 hash 结构可以使用 scan 系列命令来逐步遍历,而不是直接使用 hgetall 来全部获取。发现大对象,redis-cli -h {ip} -p {port} --bigkeys 持续采样,实时输出当时得到的 value 占用空间最大的 key 值
持久化阻塞:当我们开启AOF持久化功能时,文件刷盘的方式一般采用每秒一次,后台线程每秒对AOF文件做 fsync 操作。当硬盘压力过大时,fsync 操作需要等待,直到写入完成
手机扫一扫
移动阅读更方便
你可能感兴趣的文章