Redis
本篇文章是根据黑马程序员的视频,学习所做的笔记🦊。
1. Redis的简单介绍
概念:Redis (REmote DIctionary Server) 是用 C 语言开发的一个开源的高性能键值对(key-value)数据库。
类型:非关系型数据库(Nosql)
特征:
- 可扩容,可伸缩
- 大数据量下高性能
- 灵活的数据模型
- 高可用
关键词:单线程、高性能、多数据类型、持久化
2. Redis的应用
- 为热点数据加速查询(主要场景),如热点商品、热点新闻、热点资讯、推广类等高访问量信息等
- 任务队列,如秒杀、抢购、购票排队等
- 即时信息查询,如各位排行榜、各类网站访问统计、公交到站信息、在线人数信息(聊天室、网站)、设
备信号等 - 时效性信息控制,如验证码控制、投票控制等
- 分布式数据共享,如分布式集群架构中的 session 分离
- 消息队列
- 分布式锁
3. Redis的五大数据类型
redis java
String String
hash HashMap
list LinkedList
set HashSet
sortedset(zset) TreeSet
数据类型指的是存储的数据的类型,也就是 value 部分的类型,key 部分永远都是字符串
4. Redis对不同数据类型的常见命令
4.1 String
- 存储的数据:单个数据,最简单的数据存储类型,也是最常用的数据存储类型
- 存储数据的格式:一个存储空间保存一个数据
- 存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用
- 基本命令:
1 |
|
- 其他命令:
mset key1 value1 key2 value2 … 【添加/修改多条数据】
mget key1 key2 … 【获取多条数据】
strlen key 【获取数据字符个数(字符串长度)】
append key value [ 追加信息到原始信息后部(如果原始信息存在就追加,否则新建)]
set 和 mset之间的选择问题:如果查询数据量较多时,可以选择mset来节约服务器与redis之间的往返时间
incrby key increment 【为某一个key加上increment,但只能是整数】
incrbyfloat key increment 【为某一个key加上increment,可以是小数】
decrby key increment
string 作为数值操作:
string在redis内部存储默认就是一个字符串,当遇到增减类操作incr,decr时会转成数值型进行计算。
redis所有的操作都是原子性的,采用单线程处理所有业务,命令是一个一个执行的,因此无需考虑并发
带来的数据影响。注意:按数值进行操作的数据,如果原始数据不能转成数值,或超越了redis 数值上限范围,将报错。
9223372036854775807(java中long型数据最大值,Long.MAX_VALUE)string 类型数据操作的注意事项
数据操作不成功的反馈与数据正常操作之间的差异
① 表示运行结果是否成功
(integer) 0 → false 失败
(integer) 1 → true 成功
② 表示运行结果值
(integer) 3 → 3 3个
(integer) 1 → 1 1个
数据未获取到
(nil)等同于null
数据最大存储量
512MB
数值计算最大范围(java中的long的最大值)
9223372036854775807
业务场景:主页高频访问信息显示控制,例如新浪微博大V主页显示粉丝数与微博数量
4.2 hash
- 新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息
- 需要的存储结构:一个存储空间保存多个键值对数据
- hash类型:底层使用哈希表结构实现数据存储
1 |
|
- 其他命令
1 |
|
hash 类型数据操作的注意事项
hash类型下的value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象。如果数据未获取到,
对应的值为(nil)hash 类型数据操作的注意事项
每个 hash 可以存储 2 32 - 1 个键值对
hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了存
储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用hgetall 操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数据访问
瓶颈
对比:string存储对象(json)VS hash存储对象
String的好处:将对象的内容组装为一个整体,更倾向于读取
hash的好处:将对象的内容分成不同的field,更倾向于更新
4.3 list
- 数据存储需求:存储多个数据,并对数据进入存储空间的顺序进行区分
- 需要的存储结构:一个存储空间保存多个数据,且通过数据可以体现进入顺序
- list类型:保存多个数据,底层使用双向链表存储结构实现
基本命令
1
2
3
4
5
6
7
8
9lpush key value1 [value2] …… 【 添加/修改数据】
rpush key value1 [value2] ……
lrange key start stop 【获取数据】
lindex key index
llen key
lpop key 【获取并移除数据】
rpop key其他命令
1
2
3
4
5blpop key1 [key2] timeout [ 规定时间内获取并移除数据]
brpop key1 [key2] timeout
brpoplpush source destination timeout
lrem key count value [移除指定数据,count表示为:移掉多少个]相当于阻塞,如果list中没有数据则阻塞,在规定的时间内有数据就输出并移除
注意事项
- list中保存的数据都是string类型的,数据总容量是有限的,最多2 32 - 1 个元素 (4294967295)。
- list具有索引的概念,但是操作数据时通常以队列的形式进行入队出队操作,或以栈的形式进行入栈出栈操作
- 获取全部数据操作结束索引设置为-1
- list可以对数据进行分页操作,通常第一页的信息来自于list,第2页及更多的信息通过数据库的形式加载
业务场景
- twitter、新浪微博、腾讯微博中个人用户的关注列表需要按照用户的关注顺序进行展示,粉丝列表需要将最
近关注的粉丝列在前面 - 新闻、资讯类网站如何将最新的新闻或资讯按照发生的时间顺序展示?
- twitter、新浪微博、腾讯微博中个人用户的关注列表需要按照用户的关注顺序进行展示,粉丝列表需要将最
4.4 set
新的存储需求:存储大量的数据,在查询方面提供更高的效率
需要的存储结构:能够保存大量的数据,高效的内部存储机制,便于查询
set类型:与hash存储结构完全相同,仅存储键,不存储值(nil),并且值是不允许重复的
- 基本命令
1 |
|
- 其他命令
1 |
|
1 |
|
- 注意事项
- set 类型不允许数据重复,如果添加的数据在 set 中已经存在,将只保留一份
- set 虽然与hash的存储结构相同,但是无法启用hash中存储值的空间【set中的value类似于hash中的field】
- 业务场景
- redis 应用于随机推荐类信息检索,例如热点歌单推荐,热点新闻推荐,热卖旅游线路,应用APP推荐,
大V推荐等 - 新浪微博为了增加用户热度,提高用户留存性,需要微博用户在关注更多的人,以此获得更多的信息或热门
话题,如何提高用户关注他人的总量? - 共同好友、共同关注等
- redis 应用于同类型数据的快速去重
- 设置白名单或者黑名单
4.5 sorteds_set
新的存储需求:数据排序有利于数据的有效展示,需要提供一种可以根据自身特征进行排序的方式
需要的存储结构:新的存储模型,可以保存可排序的数据
sorted_set类型:在set的存储结构基础上添加可排序字段
基本命令
1
2
3
4
5
6zadd key score1 member1 [score2 member2] [添加数据]
zrange key start stop [WITHSCORES] [获取全部数据](升序)
zrevrange key start stop [WITHSCORES] (降序)
zrem key member [member ...] [删除数据]其他命令
1
2
3
4
5
6zrangebyscore key min max [WITHSCORES] [LIMIT] [按条件获取数据]
zrevrangebyscore key max min [WITHSCORES]
zremrangebyrank key start stop [条件删除数据]
zremrangebyscore key min max- min与max用于限定搜索查询的条件
- start与stop用于限定查询范围,作用于索引,表示开始和结束索引
- offset与count用于限定查询范围,作用于查询结果,表示开始位置和数据总量
1
2
3
4
5
6
7
8zcard key [获取集合数据总量]
zcount key min max [集合交、并操作]
zrank key member [获取数据对应的索引(排名)]
zrevrank key member
zscore key member score值获取与修改
zincrby key increment member注意事项
- score保存的数据存储空间是64位,如果是整数范围是-9007199254740992~9007199254740992
- score保存的数据也可以是一个双精度的double值,基于双精度浮点数的特征,可能会丢失精度,使用时
候要慎重 - sorted_set 底层存储还是基于set结构的,因此数据不能重复,如果重复添加相同的数据,score值将被反
复覆盖,保留最后一次修改的结果
业务场景
- 票选广东十大杰出青年,各类综艺选秀海选投票
- 各类资源网站TOP10(电影,歌曲,文档,电商,游戏等)
- 聊天室活跃度统计
- 游戏好友亲密度
- redis 应用于即时任务/消息队列执行管理(对于高优先级的任务要保障对其优先处理)
4.6 数据类型实践案例
业务场景:
5. Redis 通用指令
5.1 key 通用指令
1 |
|
5.2 数据库通用指令
redis为每个服务提供有16个数据库,编号从0到15
每个数据库之间的数据相互独立
1
2
3
4
5
6select index [切换数据库]
quit
move key db [数据移动]
dbsize [数据清除]
flushdb
flushall
6. Jedis
6.1 准备工作
导入jedis坐标
redis.clients jedis 2.9.0 连接jedis
Jedis jedis = new Jedis(“localhost”, 6379);
操作jedis
关闭jedis连接
jedis.close();
6.2 案例
主程序:
![jedis_03](https://cdn.jsdelivr.net/gh/kusuzi/image-folder@master/Redis/jedis_03.jpg)
6.3 jedis简易工具类开发
JedisPool:Jedis提供的连接池技术
需要的三个内容:
poolConfig:连接池配置对象
host:redis服务地址
port:redis服务端口号
//设置poolConfig
poolConfig = new JedisPoolConfig();
poolConfig.setMaxTotal(maxTotal);
poolConfig.setMaxIdle(maxIdle);// 设置JedisPool
jedisPool = new JedisPool(poolConfig,host,port);
7. Redis的linux环境安装
7.1 基于Center OS7安装Redis
- 下载安装包
wget http://download.redis.io/releases/redis-?.?.?.tar.gz - 解压
tar –xvf 文件名.tar.gz - 编译
make - 安装
make install [destdir=/目录]
7.2 Redis服务器端启动
默认:redis-server
如果想启动多个redis服务器,则需要换端口,那么对应的客户端也需要指定这个端口号
redis-server –port xxx(端口号)
redis-cli –port xxx
通过配置文件启动
cp redis-6379.conf redis-6380.conf [复制配置文件]
修改新的配置文件的端口号和日志名
启动对应端口的配置文件
redis-server redis-6380.conf
8. Redis持久化
8.1持久化简介
什么是持久化:
利用永久性存储介质将数据进行保存,在特定的时间将保存的数据进行恢复的工作机制称为持久化。
为什么要进行持久化:
防止数据的意外丢失,确保数据安全性
持久化过程保存什么:
将当前数据状态进行保存,快照形式,存储数据结果,存储格式简单,关注点在数据
将数据的操作过程进行保存,日志形式,存储操作过程,存储格式复杂,关注点在数据的操作过程
8.2 RDB
8.2.1RDB启动方式 —— save指令
save
作用:手动执行一次保存操作
相关配置:
save工作原理:
注意:save指令的执行会阻塞当前Redis服务器,直到当前RDB过程完成为止,有可能会造成长时间阻塞,线上环境不建议使用。
8.2.2 RDB启动方式 —— bgsave指令
bgsave
作用:手动启动后台保存操作,但不是立即执行
bgsave工作原理:
注意: bgsave命令是针对save阻塞问题做的优化。Redis内部所有涉及到RDB操作都采用bgsave的方式,save命令可以放弃使用
以上两种方式均为手动保存,通过配置文件的方式是自动保存
8.2.3 RDB启动方式 ——save配置
配置
save second changes
作用
满足限定时间范围内key的变化数量达到指定数量即进行持久化参数
second:监控时间范围
changes:监控key的变化量位置
在conf文件中进行配置范例
save 900 1
save 300 10
save 60 10000注意:save配置启动后执行的是bgsave操作
RDB三种启动方式对比
8.2.4 总结
优点:
- RDB是一个紧凑压缩的二进制文件,存储效率较高
- RDB内部存储的是redis在某个时间点的数据快照,非常适合用于数据备份,全量复制等场景
- RDB恢复数据的速度要比AOF快很多
- 应用:服务器中每X小时执行bgsave备份,并将RDB文件拷贝到远程机器中,用于灾难恢复。
缺点:
- RDB方式无论是执行指令还是利用配置,无法做到实时持久化,具有较大的可能性丢失数据
- bgsave指令每次运行要执行fork操作创建子进程,要牺牲掉一些性能
- Redis的众多版本中未进行RDB文件格式的版本统一,有可能出现各版本服务之间数据格式无法兼容现象
8.3 AOF
8.3.1 AOF概念
- AOF(append only file)持久化:以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中命令
达到恢复数据的目的。与RDB相比可以简单描述为改记录数据为记录数据产生的过程 - AOF的主要作用是解决了数据持久化的实时性,目前已经是Redis持久化的主流方式
8.3.2 AOF写数据三种策略(appendfsync)
- always(每次)
每次写入操作均同步到AOF文件中,数据零误差,性能较低 - everysec(每秒)
每秒将缓冲区中的指令同步到AOF文件中,数据准确性较高,性能较高
在系统突然宕机的情况下丢失1秒内的数据 - no(系统控制)
由操作系统控制每次同步到AOF文件的周期,整体过程不可控
8.3.3 AOF功能开启
配置
appendonly yes|no
作用
是否开启AOF持久化功能,默认为不开启状态配置
appendfsync always|everysec|no
作用
AOF写数据策略
8.3.4 AOF重写
作用:
- 降低磁盘占用量,提高磁盘利用率
- 提高持久化效率,降低持久化写时间,提高IO性能
- 降低数据恢复用时,提高数据恢复效率
重写规则:
- 进程内已超时的数据不再写入文件
- 忽略无效指令,重写时使用进程内数据直接生成,这样新的AOF文件只保留最终数据的写入命令
如del key1、 hdel key2、srem key3、set key4 111、set key4 222等
- 对同一数据的多条写命令合并为一条命令
如lpush list1 a、lpush list1 b、 lpush list1 c 可以转化为:lpush list1 a b c。 为防止数据量过大造成客户端缓冲区溢出,对list、set、hash、zset等类型,每条指令最多写入64个元素
重写方式:
手动重写
bgrewriteaof
自动重写
auto-aof-rewrite-min-size size
auto-aof-rewrite-percentage percentage
工作原理:
工作流程:
AOF重写流程:
8.4 RDB VS AOF
对数据非常敏感,建议使用默认的AOF持久化方案
AOF持久化策略使用everysecond,每秒钟fsync一次。该策略redis仍可以保持很好的处理性能,当出
现问题时,最多丢失0-1秒内的数据。注意:由于AOF文件存储体积较大,且恢复速度较慢
数据呈现阶段有效性,建议使用RDB持久化方案
数据可以良好的做到阶段内无丢失(该阶段是开发者或运维人员手工维护的),且恢复速度较快,阶段
点数据恢复通常采用RDB方案注意:利用RDB实现紧凑的数据持久化会使Redis降的很低,慎重总结:
综合比对
- RDB与AOF的选择实际上是在做一种权衡,每种都有利有弊
- 如不能承受数分钟以内的数据丢失,对业务数据非常敏感,选用AOF
- 如能承受数分钟以内的数据丢失,且追求大数据集的恢复速度,选用RDB
- 灾难恢复选用RDB
- 双保险策略,同时开启 RDB 和 AOF,重启后,Redis优先使用 AOF 来恢复数据,降低丢失数据的量
9. Redis事务
9.1 事务简介
redis事务就是一个命令执行的队列,将一系列预定义命令包装成一个整体(一个队列)。当执行时,一次性
按照添加顺序依次执行,中间不会被打断或者干扰。一个队列中,一次性、顺序性、排他性的执行一系列命令。
9.2 事务基本操作
9.2.1 基本命令
- 开启事务
multi
作用
设定事务的开启位置,此指令执行后,后续的所有指令均加入到事务中
执行事务
exec
作用
设定事务的结束位置,同时执行事务。与multi成对出现,成对使用
注意:加入事务的命令暂时进入到任务队列中,并没有立即执行,只有执行exec命令才开始执行
取消事务
discard
9.2.3 事务的注意事项
- 定义事务的过程中,命令格式****输入错误怎么办?
- 语法错误
指命令书写格式有误
- 处理结果
如果定义的事务中所包含的命令存在语法错误,整体事务中所有命令均不会执行。包括那些语法正确的命令。
- 语法错误
- 定义事务的过程中,命令执行出现错误怎么办?
- 运行错误
指命令格式正确,但是无法正确的执行。例如对list进行incr操作
- 处理结果
能够正确运行的命令会执行,运行错误的命令不会被执行[错的和正确地各执行各的]
- 运行错误
注意:已经执行完毕的命令对应的数据不会自动回滚,需要程序员自己在代码中实现回滚。
9.2.4 手动进行事务回滚
- 记录操作过程中被影响的数据之前的状态
单数据:string 多数据:hash、list、set、zset
- 设置指令恢复所有的被修改的项
单数据:直接set(注意周边属性,例如时效) 多数据:修改对应值或整体克隆复制
9.3 锁
业务分析1:
多个客户端有可能同时操作同一组数据,并且该数据一旦被操作修改后,将不适用于继续操作
在操作之前锁定要操作的数据,一旦发生变化,终止当前操作
解决方案1:
- 对 key 添加监视锁,在执行exec前如果key发生了变化,终止事务执行
watch key1 [key2……] [只要被监控的发生了变化,则后续的事务都不会被执行,哪怕是没有被监控的对象]
取消对所有 key 的监视
unwatch
业务分析2:【超卖问题】
使用watch监控一个key有没有改变已经不能解决问题,此处要监控的是具体数据
虽然redis是单线程的,但是多个客户端对同一数据同时进行操作时,如何避免不被同时修改?
解决方案2:
- 使用 setnx 设置一个公共锁
setnx lock-key value
利用setnx命令的返回值特征,有值则返回设置失败,无值则返回设置成功
对于返回设置成功的,拥有控制权,进行下一步的具体业务操作
对于返回设置失败的,不具有控制权,排队或等待
操作完毕通过del操作释放锁
注意:上述解决方案是一种设计概念,依赖规范保障,具有风险性
业务分析3:
由于锁操作由用户控制加锁解锁,必定会存在加锁后未解锁的风险
需要解锁操作不能仅依赖用户控制,系统级别要给出对应的保底处理方案
解决方案3:
- 使用 expire 为锁key添加时间限定,到时不释放,放弃锁
expire lock-key second
pexpire lock-key milliseconds
由于操作通常都是微秒或毫秒级,因此该锁定时间不宜设置过大。具体时间需要业务测试后确认。
例如:持有锁的操作最长执行时间127ms,最短执行时间7ms。
测试百万次最长执行时间对应命令的最大耗时,测试百万次网络延迟平均耗时
锁时间设定推荐:最大耗时120%+平均网络延迟110%
如果业务最大耗时<<网络平均延迟,通常为2个数量级,取其中单个耗时较长即可
10. Redis删除策略
10.1 过期数据
Redis中的数据特征
- Redis是一种内存级数据库,所有数据均存放在内存中,内存中的数据可以通过TTL指令获取其状态
- XX :具有时效性的数据
- -1 :永久有效的数据
- -2 :已经过期的数据 或 被删除的数据 或 未定义的数据
10.2 数据删除策略
定时删除
惰性删除
定期删除
时效性数据的存储结构
10.2.1 定时删除
- 创建一个定时器,当key设置有过期时间,且过期时间到达时,由定时器任务立即执行对键的删除操作
- 优点:节约内存,到时就删除,快速释放掉不必要的内存占用
- 缺点:CPU压力很大,无论CPU此时负载量多高,均占用CPU,会影响redis服务器响应时间和指令吞吐量
- 总结:用处理器性能换取存储空间 (拿时间换空间)
10.2.2 惰性删除
- 数据到达过期时间,不做处理。等下次访问该数据时
- 如果未过期,返回数据
- 发现已过期,删除,返回不存在
- 优点:节约CPU性能,发现必须删除的时候才删除
- 缺点:内存压力很大,出现长期占用内存的数据
- 总结:用存储空间换取处理器性能(拿空间换时间)
会用到expireIfNeeded()函数
10.2.3 定期删除
定时轮询,对每个库进行轮询
Redis启动服务器初始化时,读取配置server.hz的值,默认为10
每秒钟执行server.hz次serverCron()——>databasesCron()——–>activeExpireCycle()
activeExpireCycle()对每个expires[*]逐一进行检测,每次执行250ms/server.hz
*对某个expires[*]检测时,随机挑选W个key检测
如果key超时,删除key
如果一轮中删除的key的数量>W*25%,循环该过程
如果一轮中删除的key的数量≤W25%,检查下一个expires[],0-15循环
W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值
参数current_db用于记录activeExpireCycle() 进入哪个expires[*] 执行
如果activeExpireCycle()执行时间到期,下次从current_db继续向下执行
总结:
- 周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度
- 特点1:CPU性能占用设置有峰值,检测频度可自定义设置
- 特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理
- 总结:周期性抽查存储空间(随机抽查,重点抽查)
10.2.4 删除策略比对
定期删除 | 内存定期随机清理 | 每秒花费固定的CPU资源维护内存 | 随机抽查,重点抽查 |
---|---|---|---|
定时删除 | 节约内存,无占用 | 不分时段占用CPU资源,频度高 | 拿时间换空间 |
惰性删除 | 内存占用严重 | 延时执行,CPU利用率高 | 拿空间换时间 |
10.3 逐出算法(淘汰算法)
问题:当新数据进入redis时,如果内存不足怎么办?
- Redis使用内存存储数据,在执行每一个命令前,会调用freeMemoryIfNeeded()检测内存是否充足。如
果内存不满足新加入数据的最低存储要求,redis要临时删除一些数据为当前指令清理存储空间。清理数据
的策略称为逐出算法。 - 注意:逐出数据的过程不是100%能够清理出足够的可使用的内存空间,如果不成功则反复执行。当对所
有数据尝试完毕后,如果不能达到内存清理的要求,将出现错误信息。
10.3.1. 影响数据逐出的相关配置
最大可使用内存
maxmemory
占用物理内存的比例,默认值为0,表示不限制。生产环境中根据需求设定,通常设置在50%以上。
每次选取待删除数据的个数
maxmemory-samples
选取数据时并不会全库扫描,导致严重的性能消耗,降低读写性能。因此采用随机获取数据的方式作为待检测删除数据
删除策略
maxmemory-policy
达到最大内存后的,对被挑选出来的数据进行删除的策略
10.3.2. 逐出算法种类
- 检测易失数据(可能会过期的数据集server.db[i].expires )
① volatile-lru:挑选最近最少使用的数据淘汰
② volatile-lfu:挑选最近使用次数最少的数据淘汰
③ volatile-ttl:挑选将要过期的数据淘汰
④ volatile-random:任意选择数据淘汰 - 检测全库数据(所有数据集server.db[i].dict )
⑤ allkeys-lru:挑选最近最少使用的数据淘汰
⑥ allkeys-lfu:挑选最近使用次数最少的数据淘汰
⑦ allkeys-random:任意选择数据淘汰 - 放弃数据驱逐
⑧ no-enviction(驱逐):禁止驱逐数据(redis4.0中默认策略),会引发错误OOM(Out Of Memory)
数据逐出策略配置依据
使用INFO命令输出监控信息,查询缓存 hit 和 miss 的次数,根据业务需求调优Redis配置
11. 主从复制
11.1. 主从复制简介
11.1.1. 互联网“三高”架构
- 高并发
- 高性能
- 高可用
单机redis的风险与问题
- 问题1.机器故障
现象:硬盘故障、系统崩溃 本质:数据丢失,很可能对业务造成灾难性打击 结论:基本上会放弃使用redis.
- 问题2.容量瓶颈
现象:内存不足,从16G升级到64G,从64G升级到128G,无限升级内存 本质:穷,硬件条件跟不上 结论:放弃使用redis
- 结论:
为了避免单点Redis服务器故障,准备多台服务器,互相连通。将数据复制多个副本保存在不同的服 务器上,连接在一起,并保证数据是同步的。即使有其中一台服务器宕机,其他服务器依然可以继续 提供服务,实现Redis的高可用,同时实现数据冗余备份。
11.1.2. 多台服务器连接方案
提供数据方:master
- 主服务器,主节点,主库
- 主客户端
接收数据方:slave
- 从服务器,从节点,从库
- 从客户端
需要解决的问题:
- 数据同步
核心工作:
master的数据复制到slave中
11.1.3. 主从复制的作用
主从复制即将master中的数据即时、有效的复制到slave中
特征:一个master可以拥有多个slave,一个slave只对应一个master
职责:
master:
- 写数据
- 执行写操作时,将出现变化的数据自动同步到slave
- 读数据(可忽略)
slave:
- 读数据
- 写数据(禁止)
读写分离:master写、slave读,提高服务器的读写负载能力
负载均衡:基于主从结构,配合读写分离,由slave分担master负载,并根据需求的变化,改变slave的数量,通过多个从节点分担数据读取负载,大大提高Redis服务器并发量与数据吞吐量
故障恢复:当master出现问题时,由slave提供服务,实现快速的故障恢复
数据冗余:实现数据热备份,是持久化之外的一种数据冗余方式
高可用基石:基于主从复制,构建哨兵模式与集群,实现Redis的高可用方案
11.2. 主从复制工作流程
主从复制过程大体可以分为3个阶段
建立连接阶段(即准备阶段)
数据同步阶段
命令传播阶段
![主从流程_01](https://cdn.jsdelivr.net/gh/kusuzi/image-folder@master/Redis/主从流程_01.png)
11.2.1 阶段一:建立连接阶段
- 建立slave到master的连接,使master能够识别slave,并保存slave端口号
步骤1:设置master的地址和端口,客户端保存master信息
步骤2:建立socket连接
步骤3:发送ping命令(定时器任务)
步骤4:身份验证
步骤5:发送slave端口信息
至此,主从连接成功!
状态:
slave:保存master的地址与端口
master:保存slave的端口
总体:
之间创建了连接的socket
![stage_01](https://cdn.jsdelivr.net/gh/kusuzi/image-folder@master/Redis/stage_01.png)
主从连接(slave连接master):
方式一:客户端发送命令
slaveof
[从主动连接] 方式二:启动服务器参数
redis-server -slaveof
方式三:服务器配置
slaveof
[在配置文件中配置,启动这个配置文件时,就会有主从结构]
主从断开连接:
客户端发送命令
slaveof no one
attention: slave断开连接后,不会删除已有数据,只是不再接受master发送的数据
- 授权访问
1 master客户端发送命令设置密码 | 1 slave客户端发送命令设置密码 |
---|---|
requirepass |
auth |
2 master配置文件设置密码 | 2 slave配置文件设置密码 |
config set requirepass |
masterauth |
config get requirepass | 3 slave启动服务器设置密码 |
redis-server –a |
11.2.2 阶段二:数据同步阶段工作流程
- 在slave初次连接master后,复制master中的所有数据到slave
- 将slave的数据库状态更新成master当前的数据库状态
步骤1:请求同步数据
步骤2:创建RDB同步数据
步骤3:恢复RDB同步数据
步骤4:请求部分同步数据
步骤5:恢复部分同步数据
至此,数据同步工作完成!
状态:
slave:具有master端全部数据,包含RDB过程接收的数据
master:保存slave当前数据同步的位置
总体:
之间完成了数据克隆
![stage_02](https://cdn.jsdelivr.net/gh/kusuzi/image-folder@master/Redis/stage_02.png)
数据同步阶段master说明
如果master数据量巨大,数据同步阶段应避开流量高峰期,避免造成master阻塞,影响业务正常执行
复制缓冲区大小设定不合理,会导致数据溢出。如进行全量复制周期太长,进行部分复制时发现数据已经存在丢失的情况,必须进行第二次全量复制,致使slave陷入死循环状态。
repl-backlog-size 1mb [master修改复制缓冲区的大小]
- master单机内存占用主机内存的比例不应过大,建议使用50%-70%的内存,留下30%-50%的内存用于执行bgsave命令和创建复制缓冲区
数据同步阶段slave说明
为避免slave进行全量复制、部分复制时服务器响应阻塞或数据不同步,建议关闭此期间的对外服务
slave-serve-stale-data yes|no
数据同步阶段,master发送给slave信息可以理解master是slave的一个客户端,主动向slave发送命令
多个slave同时对master请求数据同步,master发送的RDB文件增多,会对带宽造成巨大冲击,如果master带宽不足,因此数据同步需要根据业务需求,适量错峰
slave过多时,建议调整拓扑结构,由一主多从结构变为树状结构,中间的节点既是master,也是slave。注意使用树状结构时,由于层级深度,导致深度越高的slave与最顶层master间数据同步延迟较大,数据一致性变差,应谨慎选择
11.2.3 命令传播阶段
当master数据库状态被修改后,导致主从服务器数据库状态不一致,此时需要让主从数据同步到一致的
状态,同步的动作称为命令传播master将接收到的数据变更命令发送给slave,slave接收命令后执行命令
不同情况发生时,命令传播阶段会采用不同的数据同步方法
- 网络闪断闪连 忽略
- 短时间网络中断 部分复制
- 长时间网络中断 全量复制
部分复制的三个核心要素
服务器的运行 id(run id)
概念:服务器运行ID是每一台服务器每次运行的身份识别码,一台服务器多次运行可以生成多个运行id
作用:运行id被用于在服务器间进行传输,识别身份如果想两次操作均对同一台服务器进行,必须每次操作携带对应的运行id,用于对方识别
实现方式:运行id在每台服务器启动时自动生成的,master在首次连接slave时,会将自己的运行ID发送给slave,slave保存此ID,通过info Server命令,可以查看节点的runid
主服务器的复制积压缓冲区
概念:复制缓冲区,又名复制积压缓冲区,是一个先进先出(FIFO)的队列,用于存储服务器执行过的命令,每次传播命令,master都会将传播的命令记录下来,并存储在复制缓冲区
主从服务器的复制偏移量
概念:一个数字,描述复制缓冲区中的指令字节位置
作用:同步信息,比对master与slave的差异,当slave断线后,恢复数据使用
数据同步+命令传播阶段工作流程
11.2.4 心跳机制
- 进入命令传播阶段候,master与slave间需要进行信息交换,使用心跳机制进行维护,实现双方连接保持在线
- master心跳:
- 指令:PING
- 周期:由repl-ping-slave-period决定,默认10秒
- 作用:判断slave是否在线
- 查询:INFO replication 获取slave最后一次连接时间间隔,lag项维持在0或1视为正常
- slave心跳任务
- 指令:REPLCONF ACK {offset}
- 周期:1秒
- 作用1:汇报slave自己的复制偏移量,获取最新的数据变更指令
- 作用2:判断master是否在线
12. 哨兵模式
12.1 哨兵简介
哨兵(sentinel) 是一个分布式系统,用于对主从结构中的每台服务器进行监控,当出现故障时通过投票机制选择新的master并将所有slave连接到新的master。
哨兵的作用
- 监控
- 不断的检查master和slave是否正常运行。
- master存活检测、master与slave运行情况检测
- 通知(提醒)
- 当被监控的服务器出现问题时,向其他(哨兵间,客户端)发送通知。
- 自动故障转移
- 断开master与slave连接,选取一个slave作为master,将其他slave连接到新的master,并告知客户端新的服务器地址
注意:
- 哨兵也是一台redis服务器,只是不提供数据服务
- 通常哨兵配置数量为单数
12.2 启动哨兵模式
配置一拖二的主从结构
配置三个哨兵(配置相同,端口不同)
参看sentinel.conf启动哨兵
redis-sentinel sentinel- 端口号 .conf
配置哨兵
12.3 哨兵工作原理
哨兵在进行主从切换过程中经历三个阶段
- 监控
- 通知
- 故障转移
12.3.1 监控阶段
用于同步各个节点的状态信息
获取各个sentinel的状态(是否在线)
获取master的状态
master属性
runid
role:master
各个slave的详细信息
获取所有slave的状态(根据master中的slave信息)
- runid
- role:slave
- master_host、master_port
- offset
- ……
![sential_stage01](https://cdn.jsdelivr.net/gh/kusuzi/image-folder@master/Redis/sential_stage01.png)
12.3.2 通知阶段
12.3.3 故障转移阶段
选择了哨兵老大过后,选择相应的slave当选master
- 服务器列表中挑选备选master
- 在线的
- 响应快的
- 与原master断开时间短的
- 优先原则
- 优先级
- offset
- runid
- 发送指令( sentinel )
- 向新的master发送slaveof no one
- 向其他slave发送slaveof 新masterIP端口
12.4 总结
- 监控
- 同步信息
- 通知
- 保持联通 【sentinel和sentinel,sentinel和master和 slave】
- 故障转移
- 发现问题
- 竞选负责人 【选取sentinel来处理故障】
- 优选新master
- 新master上任,其他slave切换master,原master作为slave故障回复后连接
13. Cluster
13.1 集群简介
集群就是使用网络将若干台计算机联通起来,并提供统一的管理方式,使其对外呈现单机的服务效果
集群作用
分散单台服务器的访问压力,实现负载均衡
分散单台服务器的存储压力,实现可扩展性
降低单台服务器宕机带来的业务灾难
![cluster](https://cdn.jsdelivr.net/gh/kusuzi/image-folder@master/Redis/cluster.png)
13.2 redis集群结构设计
- 数据存储设计
通过算法设计,计算出key应该保存的位置
将所有的存储空间计划切割成16384份,每台主机保存一部分每份代表的是一个存储空间,不是一个key的保存空间
将key按照计算出的结果放到对应的存储空间【槽】
![slot](https://cdn.jsdelivr.net/gh/kusuzi/image-folder@master/Redis/slot.png)
- 集群内部通讯设计
各个数据库相互通信,保存各个库中槽的编号数据
一次命中,直接返回
一次未命中,告知具体位置
13.3 cluster集群结构搭建
14. 企业级解决方案
14.2 缓存预热
问题:服务器启动后迅速宕机
排查:
- 请求数量较高
- 主从之间数据吞吐量较大,数据同步操作频度较高
解决方案:
前置准备工作:
- 日常例行统计数据访问记录,统计访问频度较高的热点数据
- 利用LRU数据删除策略,构建数据留存队列
例如:storm与kafka配合
准备工作:
- 将统计结果中的数据分类,根据级别,redis优先加载级别较高的热点数据
- 利用分布式多服务器同时进行数据读取,提速数据加载过程
- 热点数据主从同时预热
实施:
- 使用脚本程序固定触发数据预热过程
- 如果条件允许,使用了CDN(内容分发网络),效果会更好
总结:缓存预热就是系统启动前,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓
存的问题!用户直接查询事先被预热的缓存数据!
14.2 缓存雪崩
问题:缓存雪崩描述的就是这样⼀个简单的场景:缓存在同⼀时间大面积的失效,后⾯的请求都直接落到了数据库上,造成数据库短时间内承受⼤量请求。 这就好⽐雪崩⼀样,摧枯拉朽之势,数据库的压⼒可想⽽知,可能直接就被这么多请求弄宕机了。
解决方案:
针对 Redis 服务不可⽤的情况:
- 采⽤ Redis 集群,避免单机出现问题整个缓存服务都没办法使⽤。
- 限流,避免同时处理⼤量的请求。
针对热点缓存失效的情况:
- 数据有效期策略调整
- 根据业务数据有效期进行分类错峰,A类90分钟,B类80分钟,C类70分钟
- 过期时间使用固定时间+随机值的形式,稀释集中到期的key的数量
- 缓存永不失效。
总结:缓存雪崩就是瞬间过期数据量太大,导致对数据库服务器造成压力。如能够有效避免过期时间集中,可以有效解决雪崩现象的出现
(约40%),配合其他策略一起使用,并监控服务器的运行数据,根据运行记录做快速调整。
14.3 缓存击穿
问题:
- Redis中某个key过期,该key访问量巨大
- 多个数据请求从服务器直接压到Redis后,均未命中
- Redis在短时间内发起了大量对数据库中同一数据的访问
解决方案:
- 预先设定
以电商为例,每个商家根据店铺等级,指定若干款主打商品,在购物节期间,加大此类信息key的过期时长
注意:购物节不仅仅指当天,以及后续若干天,访问峰值呈现逐渐降低的趋势 - 现场调整
监控访问量,对自然流量激增的数据延长过期时间或设置为永久性key - 后台刷新数据
启动定时任务,高峰期来临之前,刷新数据有效期,确保不丢失 - 二级缓存
设置不同的失效时间,保障不会被同时淘汰就行 - 加锁
分布式锁,防止被击穿,但是要注意也是性能瓶颈,慎重!
总结:缓存击穿就是单个高热数据过期的瞬间,数据访问量较大,未命中redis后,发起了大量对同一数据的数据库访问,导致对数据库服务器造成压力。应对策略应该在业务数据分析与预防方面进行,配合运行监控测试与即时调整策略,毕竟单个key的过期监控难度
较高,配合雪崩处理策略即可。
14.4 缓存穿透
问题:
- 获取的数据在Redis和数据库中都不存在,数据库查询未得到对应数据
- Redis获取到null数据未进行持久化,直接返回
- 下次此类数据到达重复上述过程
- 出现黑客攻击服务
解决方案:
- 缓存null【无效key】
对查询结果为null的数据进行缓存(长期使用,定期清理),设定短时限,例如30-60秒,最高5分钟 - 白名单策略
- 提前预热各种分类数据id对应的bitmaps,id作为bitmaps的offset,相当于设置了数据白名单。当加载正常数据时,放
行,加载异常数据时直接拦截(效率偏低) - 使用布隆过滤器(有关布隆过滤器的命中问题对当前状况可以忽略)
- 实施监控
实时监控redis命中率(业务正常范围时,通常会有一个波动值)与null数据的占比
- 非活动时段波动:通常检测3-5倍,超过5倍纳入重点排查对象
- 活动时段波动:通常检测10-50倍,超过50倍纳入重点排查对象
根据倍数不同,启动不同的排查流程。然后使用黑名单进行防控(运营)
- key加密
问题出现后,临时启动防灾业务key,对key进行业务层传输加密服务,设定校验程序,过来的key校验
例如每天随机分配60个加密串,挑选2到3个,混淆到页面数据id中,发现访问key不满足规则,驳回数据访问
缓存击穿访问了不存在的数据,跳过了合法数据的redis数据缓存阶段,每次访问数据库,导致对数据库服务器造成压力,根本没有经过缓存这⼀层。通常此类数据的出现量是一个较低的值,当出现此类情况以毒攻毒,并及时报警。应对策略应该在临时预案防范方面多做文章。
14.5 性能指标监控
- 性能指标:Performance
- 内存指标:Memory
- 基本活动指标:Basic activity
- 持久性指标:Persistence
- 错误指标:Error
本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!