Redis

本篇文章是根据黑马程序员的视频,学习所做的笔记🦊。

1. Redis的简单介绍

概念:Redis (REmote DIctionary Server) 是用 C 语言开发的一个开源的高性能键值对(key-value)数据库。

类型:非关系型数据库(Nosql)

特征:

  • 可扩容,可伸缩
  • 大数据量下高性能
  • 灵活的数据模型
  • 高可用

关键词:单线程、高性能、多数据类型、持久化

2. Redis的应用

  • 为热点数据加速查询(主要场景),如热点商品、热点新闻、热点资讯、推广类等高访问量信息等
  • 任务队列,如秒杀、抢购、购票排队等
  • 即时信息查询,如各位排行榜、各类网站访问统计、公交到站信息、在线人数信息(聊天室、网站)、设
    备信号等
  • 时效性信息控制,如验证码控制、投票控制等
  • 分布式数据共享,如分布式集群架构中的 session 分离
  • 消息队列
  • 分布式锁

3. Redis的五大数据类型

redis java

  • String String

  • hash HashMap

  • list LinkedList

  • set HashSet

  • sortedset(zset) TreeSet

    数据类型指的是存储的数据的类型,也就是 value 部分的类型,key 部分永远都是字符串

4. Redis对不同数据类型的常见命令

4.1 String

  • 存储的数据:单个数据,最简单的数据存储类型,也是最常用的数据存储类型
  • 存储数据的格式:一个存储空间保存一个数据
  • 存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用
  1. 基本命令:
1
2
3
4
5
6
set key value                                         [添加/修改单条数据]
get key [获取单条数据]
del key [删除数据]
setex key second value [设置key的生命周期]
incr key [为某一个key做自增操作,++key]
decr key
  1. 其他命令:

mset key1 value1 key2 value2 … 【添加/修改多条数据】

mget key1 key2 … 【获取多条数据】

strlen key 【获取数据字符个数(字符串长度)】

append key value [ 追加信息到原始信息后部(如果原始信息存在就追加,否则新建)]

set 和 mset之间的选择问题:如果查询数据量较多时,可以选择mset来节约服务器与redis之间的往返时间

incrby key increment 【为某一个key加上increment,但只能是整数】

incrbyfloat key increment 【为某一个key加上increment,可以是小数】

decrby key increment

string 作为数值操作:

  • string在redis内部存储默认就是一个字符串,当遇到增减类操作incr,decr时会转成数值型进行计算。

  • redis所有的操作都是原子性的,采用单线程处理所有业务,命令是一个一个执行的,因此无需考虑并发
    带来的数据影响。

  • 注意:按数值进行操作的数据,如果原始数据不能转成数值,或超越了redis 数值上限范围,将报错。
    9223372036854775807(java中long型数据最大值,Long.MAX_VALUE)

    string 类型数据操作的注意事项

    数据操作不成功的反馈与数据正常操作之间的差异

    ① 表示运行结果是否成功

    (integer) 0 → false 失败
    (integer) 1 → true 成功
    ② 表示运行结果值
    (integer) 3 → 3 3个
    (integer) 1 → 1 1个
    数据未获取到
    (nil)等同于null
    数据最大存储量
    512MB
    数值计算最大范围(java中的long的最大值)
    9223372036854775807

业务场景:主页高频访问信息显示控制,例如新浪微博大V主页显示粉丝数与微博数量

string_01

4.2 hash

  • 新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息
  • 需要的存储结构:一个存储空间保存多个键值对数据
  • hash类型:底层使用哈希表结构实现数据存储

hash_01

1
2
3
4
hset key field value         [添加/修改数据]
hget key field [获取数据]
hgetall key
hdel key field1 [field2] [删除数据]
  1. 其他命令
1
2
3
4
5
6
7
8
9
hmset key field1 value1 field2 value2 … 
hmget key field1 field2 …
hlen key [获取哈希表中field字段的数量]
hexists key field [获取哈希表中是否存在指定的字段]

hkeys key [ 获取哈希表中所有的字段名或字段值]
hvals key
hincrby key field increment [设置指定字段的数值数据增加指定范围的值]
hincrbyfloat key field increment

hash 类型数据操作的注意事项

  • hash类型下的value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象。如果数据未获取到,
    对应的值为(nil)

  • hash 类型数据操作的注意事项

  • 每个 hash 可以存储 2 32 - 1 个键值对

  • hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了存
    储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用

  • hgetall 操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数据访问
    瓶颈

对比:string存储对象(json)VS hash存储对象

String的好处:将对象的内容组装为一个整体,更倾向于读取

hash的好处:将对象的内容分成不同的field,更倾向于更新

4.3 list

  • 数据存储需求:存储多个数据,并对数据进入存储空间的顺序进行区分
  • 需要的存储结构:一个存储空间保存多个数据,且通过数据可以体现进入顺序
  • list类型:保存多个数据,底层使用双向链表存储结构实现

list_1

  1. 基本命令

    1
    2
    3
    4
    5
    6
    7
    8
    9
    lpush key value1 [value2] ……        【 添加/修改数据】
    rpush key value1 [value2] ……

    lrange key start stop 【获取数据】
    lindex key index
    llen key

    lpop key 【获取并移除数据】
    rpop key
  2. 其他命令

    1
    2
    3
    4
    5
    blpop key1 [key2] timeout           [ 规定时间内获取并移除数据]
    brpop key1 [key2] timeout
    brpoplpush source destination timeout

    lrem key count value [移除指定数据,count表示为:移掉多少个]

    相当于阻塞,如果list中没有数据则阻塞,在规定的时间内有数据就输出并移除

  3. 注意事项

    • list中保存的数据都是string类型的,数据总容量是有限的,最多2 32 - 1 个元素 (4294967295)。
    • list具有索引的概念,但是操作数据时通常以队列的形式进行入队出队操作,或以栈的形式进行入栈出栈操作
    • 获取全部数据操作结束索引设置为-1
    • list可以对数据进行分页操作,通常第一页的信息来自于list,第2页及更多的信息通过数据库的形式加载
  4. 业务场景

    • twitter、新浪微博、腾讯微博中个人用户的关注列表需要按照用户的关注顺序进行展示,粉丝列表需要将最
      近关注的粉丝列在前面
    • 新闻、资讯类网站如何将最新的新闻或资讯按照发生的时间顺序展示?

4.4 set

  • 新的存储需求:存储大量的数据,在查询方面提供更高的效率

  • 需要的存储结构:能够保存大量的数据,高效的内部存储机制,便于查询

  • set类型:与hash存储结构完全相同,仅存储键,不存储值(nil),并且值是不允许重复的

    set1

  1. 基本命令
1
2
3
sadd key member1 [member2]        [添加数据]
smembers key [获取全部数据]
srem key member1 [member2] [删除数据]
  1. 其他命令
1
2
3
4
scard key                         [获取集合数据总量]
sismember key member [判断集合中是否包含指定数据]
srandmember key [count] [随机获取集合中指定数量的数据]
spop key [count] [随机获取集合中的某个数据并将该数据移出集合]
1
2
3
4
5
6
7
8
9
sinter key1 [key2]               [求两个集合的交、并、差集]
sunion key1 [key2]
sdiff key1 [key2]

sinterstore destination key1 [key2] [求两个集合的交、并、差集并存储到指定集合中]
sunionstore destination key1 [key2]
sdiffstore destination key1 [key2]

smove source destination member [将指定数据从原始集合中移动到目标集合中]
  1. 注意事项
  • set 类型不允许数据重复,如果添加的数据在 set 中已经存在,将只保留一份
  • set 虽然与hash的存储结构相同,但是无法启用hash中存储值的空间【set中的value类似于hash中的field】
  1. 业务场景
  • redis 应用于随机推荐类信息检索,例如热点歌单推荐,热点新闻推荐,热卖旅游线路,应用APP推荐,
    大V推荐等
  • 新浪微博为了增加用户热度,提高用户留存性,需要微博用户在关注更多的人,以此获得更多的信息或热门
    话题,如何提高用户关注他人的总量?
  • 共同好友、共同关注等
  • redis 应用于同类型数据的快速去重
  • 设置白名单或者黑名单

4.5 sorteds_set

  • 新的存储需求:数据排序有利于数据的有效展示,需要提供一种可以根据自身特征进行排序的方式

  • 需要的存储结构:新的存储模型,可以保存可排序的数据

  • sorted_set类型:在set的存储结构基础上添加可排序字段

    sorted_set

  1. 基本命令

    1
    2
    3
    4
    5
    6
    zadd key score1 member1 [score2 member2]           [添加数据]  

    zrange key start stop [WITHSCORES] [获取全部数据](升序)
    zrevrange key start stop [WITHSCORES] (降序)

    zrem key member [member ...] [删除数据]
  2. 其他命令

    1
    2
    3
    4
    5
    6
    zrangebyscore key min max [WITHSCORES] [LIMIT]         [按条件获取数据]
    zrevrangebyscore key max min [WITHSCORES]

    zremrangebyrank key start stop [条件删除数据]
    zremrangebyscore key min max

    • min与max用于限定搜索查询的条件
    • start与stop用于限定查询范围,作用于索引,表示开始和结束索引
    • offset与count用于限定查询范围,作用于查询结果,表示开始位置和数据总量
    1
    2
    3
    4
    5
    6
    7
    8
    zcard key                                              [获取集合数据总量]           
    zcount key min max [集合交、并操作]

    zrank key member [获取数据对应的索引(排名)]
    zrevrank key member

    zscore key member score值获取与修改
    zincrby key increment member
  3. 注意事项

    • score保存的数据存储空间是64位,如果是整数范围是-9007199254740992~9007199254740992
    • score保存的数据也可以是一个双精度的double值,基于双精度浮点数的特征,可能会丢失精度,使用时
      候要慎重
    • sorted_set 底层存储还是基于set结构的,因此数据不能重复,如果重复添加相同的数据,score值将被反
      复覆盖,保留最后一次修改的结果
  4. 业务场景

    • 票选广东十大杰出青年,各类综艺选秀海选投票
    • 各类资源网站TOP10(电影,歌曲,文档,电商,游戏等)
    • 聊天室活跃度统计
    • 游戏好友亲密度
    • redis 应用于即时任务/消息队列执行管理(对于高优先级的任务要保障对其优先处理)

4.6 数据类型实践案例

业务场景:

sorted_set2

代码实现

5. Redis 通用指令

5.1 key 通用指令

1
2
3
4
5
6
7
8
9
keys *       [查看所有的key]
del key [删除指定的key]
exists key [获取key是否存在]
type key [获取key的类型]
expire key seconds [设置指定key的有效期]
ttl key [获取指定key的有效时间]
pttl key
rename key newkey [为key改名]
renamenx key newkey

5.2 数据库通用指令

  • redis为每个服务提供有16个数据库,编号从0到15

  • 每个数据库之间的数据相互独立

    1
    2
    3
    4
    5
    6
    select index   [切换数据库]
    quit
    move key db [数据移动]
    dbsize [数据清除]
    flushdb
    flushall

6. Jedis

6.1 准备工作

  • 导入jedis坐标

    redis.clients jedis 2.9.0
  • 连接jedis

    Jedis jedis = new Jedis(“localhost”, 6379);

  • 操作jedis

  • 关闭jedis连接

    jedis.close();

6.2 案例

jedis_1

代码演示

主程序:

jedis_02

jedis_03

jedis_04

6.3 jedis简易工具类开发

JedisPool:Jedis提供的连接池技术

需要的三个内容:

poolConfig:连接池配置对象
host:redis服务地址
port:redis服务端口号

//设置poolConfig

poolConfig = new JedisPoolConfig();
poolConfig.setMaxTotal(maxTotal);
poolConfig.setMaxIdle(maxIdle);

// 设置JedisPool

jedisPool = new JedisPool(poolConfig,host,port);

7. Redis的linux环境安装

7.1 基于Center OS7安装Redis

7.2 Redis服务器端启动

  1. 默认:redis-server

    如果想启动多个redis服务器,则需要换端口,那么对应的客户端也需要指定这个端口号

  2. redis-server –port xxx(端口号)

    redis-cli –port xxx

  3. 通过配置文件启动

    • cp redis-6379.conf redis-6380.conf [复制配置文件]

    • 修改新的配置文件的端口号和日志名

    • 启动对应端口的配置文件

      redis-server redis-6380.conf

8. Redis持久化

8.1持久化简介

什么是持久化:

利用永久性存储介质将数据进行保存,在特定的时间将保存的数据进行恢复的工作机制称为持久化。

为什么要进行持久化:

防止数据的意外丢失,确保数据安全性

持久化过程保存什么:

  • 将当前数据状态进行保存,快照形式,存储数据结果,存储格式简单,关注点在数据

  • 将数据的操作过程进行保存,日志形式,存储操作过程,存储格式复杂,关注点在数据的操作过程

    permenent

8.2 RDB

8.2.1RDB启动方式 —— save指令

save

作用:手动执行一次保存操作

相关配置:

rdb_1

save工作原理:

rdb_2

注意:save指令的执行会阻塞当前Redis服务器,直到当前RDB过程完成为止,有可能会造成长时间阻塞,线上环境不建议使用。

8.2.2 RDB启动方式 —— bgsave指令

bgsave

作用:手动启动后台保存操作,但不是立即执行

bgsave工作原理:

rdb_3

注意: bgsave命令是针对save阻塞问题做的优化。Redis内部所有涉及到RDB操作都采用bgsave的方式,save命令可以放弃使用

以上两种方式均为手动保存,通过配置文件的方式是自动保存

8.2.3 RDB启动方式 ——save配置

  • 配置

    save second changes

  • 作用
    满足限定时间范围内key的变化数量达到指定数量即进行持久化

  • 参数
    second:监控时间范围
    changes:监控key的变化量

  • 位置
    在conf文件中进行配置

  • 范例

    save 900 1
    save 300 10
    save 60 10000

    注意:save配置启动后执行的是bgsave操作

    RDB三种启动方式对比

    rdb_4

8.2.4 总结

优点:

  • RDB是一个紧凑压缩的二进制文件,存储效率较高
  • RDB内部存储的是redis在某个时间点的数据快照,非常适合用于数据备份,全量复制等场景
  • RDB恢复数据的速度要比AOF很多
  • 应用:服务器中每X小时执行bgsave备份,并将RDB文件拷贝到远程机器中,用于灾难恢复。

缺点:

  • RDB方式无论是执行指令还是利用配置,无法做到实时持久化,具有较大的可能性丢失数据
  • bgsave指令每次运行要执行fork操作创建子进程,要牺牲掉一些性能
  • Redis的众多版本中未进行RDB文件格式的版本统一,有可能出现各版本服务之间数据格式无法兼容现象

8.3 AOF

8.3.1 AOF概念

  • AOF(append only file)持久化:以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中命令
    达到恢复数据的目的。与RDB相比可以简单描述为改记录数据为记录数据产生的过程
  • AOF的主要作用是解决了数据持久化的实时性,目前已经是Redis持久化的主流方式

8.3.2 AOF写数据三种策略(appendfsync)

  • always(每次)
    每次写入操作均同步到AOF文件中,数据零误差,性能较低
  • everysec(每秒)
    每秒将缓冲区中的指令同步到AOF文件中,数据准确性较高,性能较高
    在系统突然宕机的情况下丢失1秒内的数据
  • no(系统控制)
    由操作系统控制每次同步到AOF文件的周期,整体过程不可控

8.3.3 AOF功能开启

  • 配置

    appendonly yes|no

  • 作用
    是否开启AOF持久化功能,默认为不开启状态

  • 配置

    appendfsync always|everysec|no

  • 作用
    AOF写数据策略

8.3.4 AOF重写

作用:

  • 降低磁盘占用量,提高磁盘利用率
  • 提高持久化效率,降低持久化写时间,提高IO性能
  • 降低数据恢复用时,提高数据恢复效率

重写规则:

  • 进程内已超时的数据不再写入文件
  • 忽略无效指令,重写时使用进程内数据直接生成,这样新的AOF文件只保留最终数据的写入命令
      如del key1、 hdel key2、srem key3、set key4 111、set key4 222等
    
  • 对同一数据的多条写命令合并为一条命令
     如lpush list1 a、lpush list1 b、 lpush list1 c 可以转化为:lpush list1 a b c。
    为防止数据量过大造成客户端缓冲区溢出,对list、set、hash、zset等类型,每条指令最多写入64个元素
    

重写方式:

  • 手动重写

    bgrewriteaof

  • 自动重写

auto-aof-rewrite-min-size size
auto-aof-rewrite-percentage percentage

工作原理:

aof_1

工作流程:

aof-process

AOF重写流程:

aof-rewrite

8.4 RDB VS AOF

aof_2

  • 对数据非常敏感,建议使用默认的AOF持久化方案

    • AOF持久化策略使用everysecond,每秒钟fsync一次。该策略redis仍可以保持很好的处理性能,当出
      现问题时,最多丢失0-1秒内的数据。

    • 注意:由于AOF文件存储体积较大,且恢复速度较慢

  • 数据呈现阶段有效性,建议使用RDB持久化方案

    • 数据可以良好的做到阶段内无丢失(该阶段是开发者或运维人员手工维护的),且恢复速度较快,阶段
      点数据恢复通常采用RDB方案

    • 注意:利用RDB实现紧凑的数据持久化会使Redis降的很低,慎重总结:

  • 综合比对

    • RDB与AOF的选择实际上是在做一种权衡,每种都有利有弊
    • 如不能承受数分钟以内的数据丢失,对业务数据非常敏感,选用AOF
    • 如能承受数分钟以内的数据丢失,且追求大数据集的恢复速度,选用RDB
    • 灾难恢复选用RDB
    • 双保险策略,同时开启 RDB 和 AOF,重启后,Redis优先使用 AOF 来恢复数据,降低丢失数据的量

9. Redis事务

9.1 事务简介

redis事务就是一个命令执行的队列,将一系列预定义命令包装成一个整体(一个队列)。当执行时,一次性
按照添加顺序依次执行,中间不会被打断或者干扰。一个队列中,一次性、顺序性、排他性的执行一系列命令。

9.2 事务基本操作

9.2.1 基本命令

  • 开启事务

multi

  • 作用

    设定事务的开启位置,此指令执行后,后续的所有指令均加入到事务中

  • 执行事务

    exec

  • 作用

    设定事务的结束位置,同时执行事务。与multi成对出现,成对使用

    注意:加入事务的命令暂时进入到任务队列中,并没有立即执行,只有执行exec命令才开始执行

  • 取消事务

discard

  • 作用

    终止当前事务的定义,发生在multi之后,exec之前

    9.2.2 事务的工作流程

    tx_1

9.2.3 事务的注意事项

  • 定义事务的过程中,命令格式****输入错误怎么办?
    • 语法错误
      指命令书写格式有误
      
    • 处理结果
       如果定义的事务中所包含的命令存在语法错误,整体事务中所有命令均不会执行。包括那些语法正确的命令。
      
  • 定义事务的过程中,命令执行出现错误怎么办?
    • 运行错误
      指命令格式正确,但是无法正确的执行。例如对list进行incr操作
      
    • 处理结果
      能够正确运行的命令会执行,运行错误的命令不会被执行[错的和正确地各执行各的]

注意:已经执行完毕的命令对应的数据不会自动回滚,需要程序员自己在代码中实现回滚。

9.2.4 手动进行事务回滚

  • 记录操作过程中被影响的数据之前的状态
        单数据:string
          多数据:hash、list、set、zset
    
  • 设置指令恢复所有的被修改的项
      单数据:直接set(注意周边属性,例如时效)
      多数据:修改对应值或整体克隆复制
    

9.3 锁

业务分析1:

 多个客户端有可能同时操作同一组数据,并且该数据一旦被操作修改后,将不适用于继续操作
 在操作之前锁定要操作的数据,一旦发生变化,终止当前操作

解决方案1:

  • 对 key 添加监视锁,在执行exec前如果key发生了变化,终止事务执行

watch key1 [key2……] [只要被监控的发生了变化,则后续的事务都不会被执行,哪怕是没有被监控的对象]

  • 取消对所有 key 的监视

    unwatch

业务分析2:【超卖问题】

 使用watch监控一个key有没有改变已经不能解决问题,此处要监控的是具体数据
 虽然redis是单线程的,但是多个客户端对同一数据同时进行操作时,如何避免不被同时修改?

解决方案2:

  • 使用 setnx 设置一个公共锁

setnx lock-key value

利用setnx命令的返回值特征,有值则返回设置失败,无值则返回设置成功
对于返回设置成功的,拥有控制权,进行下一步的具体业务操作
对于返回设置失败的,不具有控制权,排队或等待
操作完毕通过del操作释放锁

注意:上述解决方案是一种设计概念,依赖规范保障,具有风险性

业务分析3:

 由于锁操作由用户控制加锁解锁,必定会存在加锁后未解锁的风险
 需要解锁操作不能仅依赖用户控制,系统级别要给出对应的保底处理方案

解决方案3:

  • 使用 expire 为锁key添加时间限定,到时不释放,放弃锁

expire lock-key second
pexpire lock-key milliseconds

由于操作通常都是微秒或毫秒级,因此该锁定时间不宜设置过大。具体时间需要业务测试后确认。
例如:持有锁的操作最长执行时间127ms,最短执行时间7ms。
测试百万次最长执行时间对应命令的最大耗时,测试百万次网络延迟平均耗时
锁时间设定推荐:最大耗时120%+平均网络延迟110%
如果业务最大耗时<<网络平均延迟,通常为2个数量级,取其中单个耗时较长即可

10. Redis删除策略

10.1 过期数据

Redis中的数据特征

  • Redis是一种内存级数据库,所有数据均存放在内存中,内存中的数据可以通过TTL指令获取其状态
    • XX :具有时效性的数据
    • -1 :永久有效的数据
    • -2 :已经过期的数据 或 被删除的数据 或 未定义的数据

10.2 数据删除策略

  1. 定时删除

  2. 惰性删除

  3. 定期删除

    时效性数据的存储结构

    del_1

10.2.1 定时删除

  • 创建一个定时器,当key设置有过期时间,且过期时间到达时,由定时器任务立即执行对键的删除操作
  • 优点:节约内存,到时就删除,快速释放掉不必要的内存占用
  • 缺点:CPU压力很大,无论CPU此时负载量多高,均占用CPU,会影响redis服务器响应时间和指令吞吐量
  • 总结:用处理器性能换取存储空间 (拿时间换空间)

10.2.2 惰性删除

  • 数据到达过期时间,不做处理。等下次访问该数据时
    • 如果未过期,返回数据
    • 发现已过期,删除,返回不存在
  • 优点:节约CPU性能,发现必须删除的时候才删除
  • 缺点:内存压力很大,出现长期占用内存的数据
  • 总结:用存储空间换取处理器性能(拿空间换时间)
    会用到expireIfNeeded()函数

10.2.3 定期删除

定时轮询,对每个库进行轮询

  • Redis启动服务器初始化时,读取配置server.hz的值,默认为10

  • 每秒钟执行server.hz次serverCron()——>databasesCron()——–>activeExpireCycle()

  • activeExpireCycle()对每个expires[*]逐一进行检测,每次执行250ms/server.hz

  • *对某个expires[*]检测时,随机挑选W个key检测

  • 如果key超时,删除key

  • 如果一轮中删除的key的数量>W*25%,循环该过程

  • 如果一轮中删除的key的数量≤W25%,检查下一个expires[],0-15循环

  • W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值

  • 参数current_db用于记录activeExpireCycle() 进入哪个expires[*] 执行

  • 如果activeExpireCycle()执行时间到期,下次从current_db继续向下执行

总结:

  1. 周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度
  2. 特点1:CPU性能占用设置有峰值,检测频度可自定义设置
  3. 特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理
  4. 总结:周期性抽查存储空间(随机抽查,重点抽查)

10.2.4 删除策略比对

定期删除 内存定期随机清理 每秒花费固定的CPU资源维护内存 随机抽查,重点抽查
定时删除 节约内存,无占用 不分时段占用CPU资源,频度高 拿时间换空间
惰性删除 内存占用严重 延时执行,CPU利用率高 拿空间换时间

10.3 逐出算法(淘汰算法)

问题:当新数据进入redis时,如果内存不足怎么办?

  • Redis使用内存存储数据,在执行每一个命令前,会调用freeMemoryIfNeeded()检测内存是否充足。如
    果内存不满足新加入数据的最低存储要求,redis要临时删除一些数据为当前指令清理存储空间。清理数据
    的策略称为逐出算法。
  • 注意:逐出数据的过程不是100%能够清理出足够的可使用的内存空间,如果不成功则反复执行。当对所
    有数据尝试完毕后,如果不能达到内存清理的要求,将出现错误信息。

10.3.1. 影响数据逐出的相关配置

  • 最大可使用内存

    maxmemory

    占用物理内存的比例,默认值为0,表示不限制。生产环境中根据需求设定,通常设置在50%以上。

  • 每次选取待删除数据的个数

    maxmemory-samples

    选取数据时并不会全库扫描,导致严重的性能消耗,降低读写性能。因此采用随机获取数据的方式作为待检测删除数据

  • 删除策略

maxmemory-policy

达到最大内存后的,对被挑选出来的数据进行删除的策略

10.3.2. 逐出算法种类

  1. 检测易失数据(可能会过期的数据集server.db[i].expires )
    ① volatile-lru:挑选最近最少使用的数据淘汰
    ② volatile-lfu:挑选最近使用次数最少的数据淘汰
    ③ volatile-ttl:挑选将要过期的数据淘汰
    ④ volatile-random:任意选择数据淘汰
  2. 检测全库数据(所有数据集server.db[i].dict )
    ⑤ allkeys-lru:挑选最近最少使用的数据淘汰
    ⑥ allkeys-lfu:挑选最近使用次数最少的数据淘汰
    ⑦ allkeys-random:任意选择数据淘汰
  3. 放弃数据驱逐
    ⑧ no-enviction(驱逐):禁止驱逐数据(redis4.0中默认策略),会引发错误OOM(Out Of Memory)

数据逐出策略配置依据
 使用INFO命令输出监控信息,查询缓存 hit 和 miss 的次数,根据业务需求调优Redis配置

11. 主从复制

11.1. 主从复制简介

11.1.1. 互联网“三高”架构

  • 高并发
  • 高性能
  • 高可用

单机redis的风险与问题

  • 问题1.机器故障
          现象:硬盘故障、系统崩溃
              本质:数据丢失,很可能对业务造成灾难性打击
               结论:基本上会放弃使用redis.
    
  • 问题2.容量瓶颈
        现象:内存不足,从16G升级到64G,从64G升级到128G,无限升级内存
       本质:穷,硬件条件跟不上
       结论:放弃使用redis
    
  • 结论:
       为了避免单点Redis服务器故障,准备多台服务器,互相连通。将数据复制多个副本保存在不同的服
       务器上,连接在一起,并保证数据是同步的。即使有其中一台服务器宕机,其他服务器依然可以继续
      提供服务,实现Redis的高可用,同时实现数据冗余备份。
    

11.1.2. 多台服务器连接方案

  • 提供数据方:master

    • 主服务器,主节点,主库
    • 主客户端
  • 接收数据方:slave

    • 从服务器,从节点,从库
    • 从客户端
  • 需要解决的问题:

    • 数据同步
  • 核心工作:

    • master的数据复制到slave中

      主从_01

11.1.3. 主从复制的作用

主从复制即将master中的数据即时、有效的复制到slave中
特征:一个master可以拥有多个slave,一个slave只对应一个master

职责:

  • master:

    • 写数据
    • 执行写操作时,将出现变化的数据自动同步到slave
    • 读数据(可忽略)
  • slave:

    • 读数据
    • 写数据(禁止)

    集群

  • 读写分离:master写、slave读,提高服务器的读写负载能力

  • 负载均衡:基于主从结构,配合读写分离,由slave分担master负载,并根据需求的变化,改变slave的数量,通过多个从节点分担数据读取负载,大大提高Redis服务器并发量与数据吞吐量

  • 故障恢复:当master出现问题时,由slave提供服务,实现快速的故障恢复

  • 数据冗余:实现数据热备份,是持久化之外的一种数据冗余方式

  • 高可用基石:基于主从复制,构建哨兵模式与集群,实现Redis的高可用方案

11.2. 主从复制工作流程

主从复制过程大体可以分为3个阶段
 建立连接阶段(即准备阶段)
 数据同步阶段
 命令传播阶段

主从流程_01

11.2.1 阶段一:建立连接阶段

  • 建立slave到master的连接,使master能够识别slave,并保存slave端口号

步骤1:设置master的地址和端口,客户端保存master信息
步骤2:建立socket连接
步骤3:发送ping命令(定时器任务)
步骤4:身份验证
步骤5:发送slave端口信息
至此,主从连接成功!
状态:
slave:保存master的地址与端口
master:保存slave的端口
总体:
之间创建了连接的socket

stage_01

主从连接(slave连接master):

  1. 方式一:客户端发送命令

    slaveof [从主动连接]

  2. 方式二:启动服务器参数

    redis-server -slaveof

  3. 方式三:服务器配置

    slaveof [在配置文件中配置,启动这个配置文件时,就会有主从结构]

主从断开连接:

  1. 客户端发送命令

    slaveof no one

    attention: slave断开连接后,不会删除已有数据,只是不再接受master发送的数据

  • 授权访问
1 master客户端发送命令设置密码 1 slave客户端发送命令设置密码
requirepass auth
2 master配置文件设置密码 2 slave配置文件设置密码
config set requirepass masterauth
config get requirepass 3 slave启动服务器设置密码
redis-server –a

11.2.2 阶段二:数据同步阶段工作流程

  • 在slave初次连接master后,复制master中的所有数据到slave
  • 将slave的数据库状态更新成master当前的数据库状态

步骤1:请求同步数据
步骤2:创建RDB同步数据
步骤3:恢复RDB同步数据
步骤4:请求部分同步数据
步骤5:恢复部分同步数据
至此,数据同步工作完成!

状态:
slave:具有master端全部数据,包含RDB过程接收的数据
master:保存slave当前数据同步的位置
总体:
之间完成了数据克隆

stage_02

数据同步阶段master说明

  1. 如果master数据量巨大,数据同步阶段应避开流量高峰期,避免造成master阻塞,影响业务正常执行

  2. 复制缓冲区大小设定不合理,会导致数据溢出。如进行全量复制周期太长,进行部分复制时发现数据已经存在丢失的情况,必须进行第二次全量复制,致使slave陷入死循环状态。

repl-backlog-size 1mb [master修改复制缓冲区的大小]

  1. master单机内存占用主机内存的比例不应过大,建议使用50%-70%的内存,留下30%-50%的内存用于执行bgsave命令和创建复制缓冲区

数据同步阶段slave说明

  1. 为避免slave进行全量复制、部分复制时服务器响应阻塞或数据不同步,建议关闭此期间的对外服务

    slave-serve-stale-data yes|no

  2. 数据同步阶段,master发送给slave信息可以理解master是slave的一个客户端,主动向slave发送命令

  3. 多个slave同时对master请求数据同步,master发送的RDB文件增多,会对带宽造成巨大冲击,如果master带宽不足,因此数据同步需要根据业务需求,适量错峰

  4. slave过多时,建议调整拓扑结构,由一主多从结构变为树状结构,中间的节点既是master,也是slave。注意使用树状结构时,由于层级深度,导致深度越高的slave与最顶层master间数据同步延迟较大,数据一致性变差,应谨慎选择

11.2.3 命令传播阶段

  • 当master数据库状态被修改后,导致主从服务器数据库状态不一致,此时需要让主从数据同步到一致的
    状态,同步的动作称为命令传播

  • master将接收到的数据变更命令发送给slave,slave接收命令后执行命令

不同情况发生时,命令传播阶段会采用不同的数据同步方法

  • 网络闪断闪连 忽略
  • 短时间网络中断 部分复制
  • 长时间网络中断 全量复制

部分复制的三个核心要素

  1. 服务器的运行 id(run id)

    概念:服务器运行ID是每一台服务器每次运行的身份识别码,一台服务器多次运行可以生成多个运行id

    作用:运行id被用于在服务器间进行传输,识别身份如果想两次操作均对同一台服务器进行,必须每次操作携带对应的运行id,用于对方识别

    实现方式:运行id在每台服务器启动时自动生成的,master在首次连接slave时,会将自己的运行ID发送给slave,slave保存此ID,通过info Server命令,可以查看节点的runid

  2. 主服务器的复制积压缓冲区

概念:复制缓冲区,又名复制积压缓冲区,是一个先进先出(FIFO)的队列,用于存储服务器执行过的命令,每次传播命令,master都会将传播的命令记录下来,并存储在复制缓冲区

  1. 主从服务器的复制偏移量

    概念:一个数字,描述复制缓冲区中的指令字节位置

    作用:同步信息,比对master与slave的差异,当slave断线后,恢复数据使用

数据同步+命令传播阶段工作流程

stage_23

11.2.4 心跳机制

  • 进入命令传播阶段候,master与slave间需要进行信息交换,使用心跳机制进行维护,实现双方连接保持在线
  • master心跳:
    • 指令:PING
    • 周期:由repl-ping-slave-period决定,默认10秒
    • 作用:判断slave是否在线
    • 查询:INFO replication 获取slave最后一次连接时间间隔,lag项维持在0或1视为正常
  • slave心跳任务
    • 指令:REPLCONF ACK {offset}
    • 周期:1秒
    • 作用1:汇报slave自己的复制偏移量,获取最新的数据变更指令
    • 作用2:判断master是否在线

12. 哨兵模式

12.1 哨兵简介

哨兵(sentinel) 是一个分布式系统,用于对主从结构中的每台服务器进行监控,当出现故障时通过投票机制选择新的master并将所有slave连接到新的master。

哨兵的作用

  • 监控
    • 不断的检查master和slave是否正常运行。
    • master存活检测、master与slave运行情况检测
  • 通知(提醒)
    • 当被监控的服务器出现问题时,向其他(哨兵间,客户端)发送通知。
  • 自动故障转移
    • 断开master与slave连接,选取一个slave作为master,将其他slave连接到新的master,并告知客户端新的服务器地址

注意:

  • 哨兵也是一台redis服务器,只是不提供数据服务
  • 通常哨兵配置数量为单数

12.2 启动哨兵模式

  • 配置一拖二的主从结构

  • 配置三个哨兵(配置相同,端口不同)
    参看sentinel.conf

  • 启动哨兵

    redis-sentinel sentinel- 端口号 .conf

配置哨兵

sential_config

12.3 哨兵工作原理

哨兵在进行主从切换过程中经历三个阶段

  • 监控
  • 通知
  • 故障转移

12.3.1 监控阶段

用于同步各个节点的状态信息

  • 获取各个sentinel的状态(是否在线)

  • 获取master的状态

  • master属性

  • runid

  • role:master

  • 各个slave的详细信息

  • 获取所有slave的状态(根据master中的slave信息)

    • runid
    • role:slave
    • master_host、master_port
    • offset
    • ……
sential_stage01

12.3.2 通知阶段

sential_stage02

12.3.3 故障转移阶段

sential_stage03

stage032

选择了哨兵老大过后,选择相应的slave当选master

  • 服务器列表中挑选备选master
    • 在线的
    • 响应快的
    • 与原master断开时间短的
    • 优先原则
      • 优先级
      • offset
      • runid
  • 发送指令( sentinel )
    • 向新的master发送slaveof no one
    • 向其他slave发送slaveof 新masterIP端口

12.4 总结

  • 监控
  • 同步信息
  • 通知
    • 保持联通 【sentinel和sentinel,sentinel和master和 slave】
  • 故障转移
    • 发现问题
    • 竞选负责人 【选取sentinel来处理故障】
    • 优选新master
    • 新master上任,其他slave切换master,原master作为slave故障回复后连接

13. Cluster

13.1 集群简介

集群就是使用网络将若干台计算机联通起来,并提供统一的管理方式,使其对外呈现单机的服务效果

集群作用

  • 分散单台服务器的访问压力,实现负载均衡

  • 分散单台服务器的存储压力,实现可扩展性

  • 降低单台服务器宕机带来的业务灾难

cluster

13.2 redis集群结构设计

  1. 数据存储设计
  • 通过算法设计,计算出key应该保存的位置

  • 将所有的存储空间计划切割成16384份,每台主机保存一部分每份代表的是一个存储空间,不是一个key的保存空间

  • 将key按照计算出的结果放到对应的存储空间【槽】

    slot_cal
slot
  1. 集群内部通讯设计
  • 各个数据库相互通信,保存各个库中槽的编号数据

  • 一次命中,直接返回

  • 一次未命中,告知具体位置

    cluster_com

13.3 cluster集群结构搭建

视频搭建教程

14. 企业级解决方案

14.2 缓存预热

问题:服务器启动后迅速宕机

排查:

  1. 请求数量较高
  2. 主从之间数据吞吐量较大,数据同步操作频度较高

解决方案:

前置准备工作:

  1. 日常例行统计数据访问记录,统计访问频度较高的热点数据
  2. 利用LRU数据删除策略,构建数据留存队列
    例如:storm与kafka配合

准备工作:

  1. 将统计结果中的数据分类,根据级别,redis优先加载级别较高的热点数据
  2. 利用分布式多服务器同时进行数据读取,提速数据加载过程
  3. 热点数据主从同时预热

实施:

  1. 使用脚本程序固定触发数据预热过程
  2. 如果条件允许,使用了CDN(内容分发网络),效果会更好

总结:缓存预热就是系统启动前,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓
存的问题!用户直接查询事先被预热的缓存数据!

14.2 缓存雪崩

问题:缓存雪崩描述的就是这样⼀个简单的场景:缓存在同⼀时间大面积的失效,后⾯的请求都直接落到了数据库上,造成数据库短时间内承受⼤量请求。 这就好⽐雪崩⼀样,摧枯拉朽之势,数据库的压⼒可想⽽知,可能直接就被这么多请求弄宕机了。

解决方案:

针对 Redis 服务不可⽤的情况:

  1. 采⽤ Redis 集群,避免单机出现问题整个缓存服务都没办法使⽤。
  2. 限流,避免同时处理⼤量的请求。

针对热点缓存失效的情况:

  1. 数据有效期策略调整
    • 根据业务数据有效期进行分类错峰,A类90分钟,B类80分钟,C类70分钟
    • 过期时间使用固定时间+随机值的形式,稀释集中到期的key的数量
  2. 缓存永不失效。

总结:缓存雪崩就是瞬间过期数据量太大,导致对数据库服务器造成压力。如能够有效避免过期时间集中,可以有效解决雪崩现象的出现
(约40%),配合其他策略一起使用,并监控服务器的运行数据,根据运行记录做快速调整。

14.3 缓存击穿

问题:

  1. Redis中某个key过期,该key访问量巨大
  2. 多个数据请求从服务器直接压到Redis后,均未命中
  3. Redis在短时间内发起了大量对数据库中同一数据的访问

解决方案:

  1. 预先设定
    以电商为例,每个商家根据店铺等级,指定若干款主打商品,在购物节期间,加大此类信息key的过期时长
    注意:购物节不仅仅指当天,以及后续若干天,访问峰值呈现逐渐降低的趋势
  2. 现场调整
    监控访问量,对自然流量激增的数据延长过期时间或设置为永久性key
  3. 后台刷新数据
    启动定时任务,高峰期来临之前,刷新数据有效期,确保不丢失
  4. 二级缓存
    设置不同的失效时间,保障不会被同时淘汰就行
  5. 加锁
    分布式锁,防止被击穿,但是要注意也是性能瓶颈,慎重!

总结:缓存击穿就是单个高热数据过期的瞬间,数据访问量较大,未命中redis后,发起了大量对同一数据的数据库访问,导致对数据库服务器造成压力。应对策略应该在业务数据分析与预防方面进行,配合运行监控测试与即时调整策略,毕竟单个key的过期监控难度
较高,配合雪崩处理策略即可。

14.4 缓存穿透

问题:

  • 获取的数据在Redis和数据库中都不存在,数据库查询未得到对应数据
  • Redis获取到null数据未进行持久化,直接返回
  • 下次此类数据到达重复上述过程
  • 出现黑客攻击服务

解决方案:

  1. 缓存null【无效key】
    对查询结果为null的数据进行缓存(长期使用,定期清理),设定短时限,例如30-60秒,最高5分钟
  2. 白名单策略
  • 提前预热各种分类数据id对应的bitmaps,id作为bitmaps的offset,相当于设置了数据白名单。当加载正常数据时,放
    行,加载异常数据时直接拦截(效率偏低)
  • 使用布隆过滤器(有关布隆过滤器的命中问题对当前状况可以忽略)
  1. 实施监控
    实时监控redis命中率(业务正常范围时,通常会有一个波动值)与null数据的占比
  • 非活动时段波动:通常检测3-5倍,超过5倍纳入重点排查对象
  • 活动时段波动:通常检测10-50倍,超过50倍纳入重点排查对象
    根据倍数不同,启动不同的排查流程。然后使用黑名单进行防控(运营)
  1. key加密
    问题出现后,临时启动防灾业务key,对key进行业务层传输加密服务,设定校验程序,过来的key校验
    例如每天随机分配60个加密串,挑选2到3个,混淆到页面数据id中,发现访问key不满足规则,驳回数据访问

缓存击穿访问了不存在的数据,跳过了合法数据的redis数据缓存阶段,每次访问数据库,导致对数据库服务器造成压力,根本没有经过缓存这⼀层。通常此类数据的出现量是一个较低的值,当出现此类情况以毒攻毒,并及时报警。应对策略应该在临时预案防范方面多做文章。

14.5 性能指标监控

  • 性能指标:Performance
  • 内存指标:Memory
  • 基本活动指标:Basic activity
  • 持久性指标:Persistence
  • 错误指标:Error

本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!