Redis应用-哨兵模式以及缓存穿透雪崩

哨兵模式

概述

主从切换技术的方法是：当主节点宕机后，需要手动把一台服务器切换到主服务器，这就需要人工干预，费时费力，还会造成一段时间服务不可用。这不是一种推荐的方式，更多的时候我们优先考虑哨兵模式。Redis从2.8的版本开始提供sentinel(哨兵)架构来解决这个问题。

哨兵模式是一种特使的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程。其原理是哨兵通过发送命令，等待Redis服务器响应，从而监控运行的多个Redis实例。

这里的哨兵有两个作用

1. 通过发送命令让Redis服务器返回监控其运行的状态，包括主节点和从节点。
2. 当哨兵监测到master宕机，会自动将slave切换成master，然乎通过发布订阅模式通知其它从节点，修改配置文件->切换主机

然而一个哨兵进程对Redis服务器进行监控，可能会出现问题，为此，我们可以使用上图的多哨兵进行监控，各个哨兵直接还会互相监控，这样就形成了多哨兵模式。

假设主节点宕机，哨兵1先检测到这个结果，系统并不会马上进行fail over过程，仅仅是哨兵1主观认为主节点不可用，这个现象称为主观下线。当后面的哨兵也检测到主节点不可用并且达到一定数量时，那么哨兵直接就会进行一次投票，

投票的结果由一个哨兵发起，进行fail over故障转移操作。切换成功之后，就会通过发布订阅模式，让各个哨兵把自己监控的从节点实现切换主节点，这个过程称为客观下线。

实践

# 配置哨兵配置文件
[root@VM-4-17-centos redisconfig]# vim sentinel.conf
sentinel monitor myredis 127.0.0.1 6379 1

# 启动哨兵
[root@VM-4-17-centos bin]# redis-sentinel redisconfig/sentinel.conf 

# 现在将79这个主机断掉
127.0.0.1:6379> shutdown
not connected> exit
# 哨兵收不到主节点的heartbeat 就会重新选举出主节点

# 查看81 的信息
127.0.0.1:6381> info replication
# Replication
role:slave	#从节点
master_host:127.0.0.1
master_port:6380
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:30626
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:eed0a09fd55105549f3bde2dfa8273d3c6c7b1d8
master_replid2:fce6232ffa0779d9479f4b13d6ce60e1cb3bd46c
master_repl_offset:30626
second_repl_offset:28172
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:30626

# 查看80的信息
127.0.0.1:6380> info replication
# Replication
role:master	#主节点
connected_slaves:1
slave0:ip=127.0.0.1,port=6381,state=online,offset=30084,lag=0
master_replid:eed0a09fd55105549f3bde2dfa8273d3c6c7b1d8
master_replid2:fce6232ffa0779d9479f4b13d6ce60e1cb3bd46c
master_repl_offset:30084
second_repl_offset:28172
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:179
repl_backlog_histlen:29906

# 重新连上79 ，79也只能作为从节点
127.0.0.1:6379> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6380
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:67997
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:eed0a09fd55105549f3bde2dfa8273d3c6c7b1d8
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:67997
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:65543
repl_backlog_histlen:2455

哨兵模式

优点：

1. 哨兵集群，基于主从复制模式，所有的主从配置优点它都有
2. 主从可以切换，故障可以转移，系统的可用性会更好
3. 哨兵模式就是主从模式的升级，手动到自动，更加健壮

缺点：

1. Redis不好在线扩容，集群容量一旦达到上限，在线扩容就十分麻烦
2. 实现哨兵模式也比较麻烦，配置有很多

哨兵模式的全部配置

# Example sentinel.conf
 
# 哨兵sentinel实例运行的端口 默认26379
port 26379
 
# 哨兵sentinel的工作目录
dir /tmp
 
# 哨兵sentinel监控的redis主节点的 ip port 
# master-name  可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>  下面这个2的意思就是当个哨兵检测到79服务宕机后才进行选举
sentinel monitor mymaster 127.0.0.1 6379 2
 
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd
 
 
# 指定多少毫秒之后 主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线 默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
 
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步，
这个数字越小，完成failover所需的时间就越长，
但是如果这个数字越大，就意味着越 多的slave因为replication而不可用。
可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
 
 
 
# 故障转移的超时时间 failover-timeout 可以用在以下这些方面： 
#1. 同一个sentinel对同一个master两次failover之间的间隔时间。
#2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
#3.当想要取消一个正在进行的failover所需要的时间。  
#4.当进行failover时，配置所有slaves指向新的master所需的最大时间。不过，即使过了这个超时，slaves依然会被正确配置为指向master，但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
 
# SCRIPTS EXECUTION
 
#配置当某一事件发生时所需要执行的脚本，可以通过脚本来通知管理员，例如当系统运行不正常时发邮件通知相关人员。
#对于脚本的运行结果有以下规则：
#若脚本执行后返回1，那么该脚本稍后将会被再次执行，重复次数目前默认为10
#若脚本执行后返回2，或者比2更高的一个返回值，脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了，则同返回值为1时的行为相同。
#一个脚本的最大执行时间为60s，如果超过这个时间，脚本将会被一个SIGKILL信号终止，之后重新执行。
 
#通知型脚本:当sentinel有任何警告级别的事件发生时（比如说redis实例的主观失效和客观失效等等），将会去调用这个脚本，
这时这个脚本应该通过邮件，SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时，将传给脚本两个参数，
一个是事件的类型，
一个是事件的描述。
如果sentinel.conf配置文件中配置了这个脚本路径，那么必须保证这个脚本存在于这个路径，并且是可执行的，否则sentinel无法正常启动成功。
#通知脚本
# sentinel notification-script <master-name> <script-path>
  sentinel notification-script mymaster /var/redis/notify.sh
 
# 客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时，这个脚本将会被调用，通知相关的客户端关于master地址已经发生改变的信息。
# 以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover”,
# <role>是“leader”或者“observer”中的一个。 
# 参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的，能被多次调用，不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh

Redis缓存穿透和雪崩

Redis缓存的使用极大的提升了程序的性能和效率，特别是数据查询方面，同时也带来了一些问题[数据一致性的问题],从严格的意义上来讲，只能达到最终的数据一致性，而不能保证在任何时刻的数据一致性。另外，还有一些典型的问题，也是面试的高频问题，就是缓存穿透和缓存雪崩，目前也有比较流行的解决方案。

缓存穿透

概述

简单来说就是用户想要查询一个数据，发现Redis内存数据库中没有，于是向持久层数据库发起查询发现也没有，查询失败。当用户量很多的时候，缓存没有命中，都集中到持久层数据库去查询，这样会给持久层数据库造成很大的压力，这个时候就会出现缓存穿透。

解决方案

布隆过滤器

布隆过滤器是一种数据结构，对所有可能查询的参数以hash的形式存储，在控制层先进行校验，不符合则丢弃，避免对存储系统过大的查询压力。

缓存空对象

当存储层不命中后，即使返回的空对象也会缓存起来，同事设置一个过期时间，之后再访问这个数据将会从缓存中获取

但是这种办法会有两个问题：

1. 如果空值能够被缓存起来，就意味着缓存需要更多的空间存储更多的键，因为这当中可能会出现很多空值的键
2. 即使空值设置了过期时间，还是会存在缓存层和存储层的数据会有一段时间窗口的不一致，这对于需要保持一致性的业务有一定的影响。

缓存击穿

概述

这里需要注意和缓存击穿的区别，缓存击穿是指一个key非常热点，在不停的扛着大并发，大并发集中对这一个点进行访问，当这个key在失效的瞬间，持续的大并发就会穿破缓存，直接请求数据库，就像在一个屏障上凿开一个洞。

当某个key在过期的瞬间，有大量的请求并发访问，这类数据一般是热点数据，由于缓存过期会同时访问数据库来查询最新数据并回写缓存，会导致数据库的压力过大。

解决方案

设置热点数据永不过期

从缓存层面上来看，没有设置过期时间，所有不会出现热点过期后产生的问题

加互斥锁

使用分布式锁，保证对于每个key只有一个线程去查询后端服务，其它线程没有获得分布式锁的权限，因此只需要等待即可，这种方式将高并发的压力转移到了分布式锁因此对分布式锁的考研很大。

缓存雪崩

概述

缓存雪崩是指在某一个时间段，缓存集中过期失效或者Redis宕机。

产生雪崩的原因之一，比如在写文本的时候，马上要到双十一零点，很快就会迎来一波抢购，这波商品时间比较集中的放入了缓存，假设缓存一个小时，那么到了凌晨一点中的时候，这批商品的缓存就会都过期，而对这批商品的访问查询，都落到了数据库上，对于数据库而言，就会产生周期性的压力波峰，于是所有的请求都会达到存储层，存储层的使用量暴增，在成存储层宕机的情况。

解决方案

Redis高可用

这个含义是既然redis有可能挂掉，那就多设几台redis，这样一台挂掉之后其它的还可以继续工作，其实就是搭建集群(异地多活)

限流降级

这个的意思就是在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量，比如对某个key只允许一个线程查询数据和写缓存，其它线程等待。

数据预热

这个的意思就是在正是部署之前，先把可能需要访问的数据先访问一遍，这样部分可能大量访问的数据就会加载到缓存中；在即将发生大并发访问前手动触发加载缓存不同的key，设置不同的过期时间，让缓存失效的时间点尽量均匀。