黑马Redis笔记-高级篇

黑马Redis笔记-高级篇

  • 1、Redis持久化(解决数据丢失)
    • 1.1 RDB持久化
      • 1.1.1 定义
      • 1.1.2 异步持久化bgsave原理
    • 1.2 AOF持久化
    • 1.3 RDB和AOF比较
  • 2、Redis主从(解决并发问题)
    • 2.1 搭建主从架构
    • 2.2 主从数据同步原理
      • 2.2.1 全量同步
      • 2.2.2 增量同步
  • 3、Redis哨兵(解决故障恢复问题)
    • 3.1哨兵的作用和原理
    • 3.2搭建哨兵集群
    • 3.3RedisTemplate的哨兵模式
  • 4、Redis分片集群(增强存储能力)
    • 4.1 搭建分片集群
    • 4.2 散列插槽
    • 4.3 集群伸缩
    • 4.4 故障转移
      • 4.4.1 自动故障转移
      • 4.4.2 手动故障转移
    • 4.5 RedisTemplate访问分片集群

在这里插入图片描述


1、Redis持久化(解决数据丢失)

1.1 RDB持久化

1.1.1 定义

RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照。 简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。
快照文件称为RDB文件,默认是保存在当前运行目录

RDB执行时机:

  1. Redis停机时会执行一次RDB。 (save命令由Redis主进程来执行RDB,会阻塞所有命令;bgsave命令则开启子进程执行RDB,是异步的,避免主进程受到影响)在这里插入图片描述

  2. Redis内部有触发RDB的机制,可以在redis.conf文件中找到。在这里插入图片描述

1.1.2 异步持久化bgsave原理

RDB方式bgsave的基本流程?

  1. fork主进程得到一个子进程,共享内存空间
  2. 子进程读取内存数据并写入新的RDB文件
  3. 用新RDB文件替换旧的RDB文件。

fork采用的是copy-on-write技术:
当主进程执行读操作时,访问共享内存;
当主进程执行写操作时,则会拷贝一份数据,执行写操作。
在这里插入图片描述

RDB会在什么时候执行?save 60 1000代表什么含义?
默认是服务停止时执行。也可以配置config文件触发执行。
save 60 1000代表60秒内至少执行1000次修改则触发RDB

RDB的缺点?
RDB执行间隔时间长,两次RDB之间写入数据有丢失的风险
fork子进程、压缩、写出RDB文件都比较耗时

1.2 AOF持久化

AOF全称为Append Only File(追加文件)。Redis处理的每一个写命令都会记录在AOF文件,可以看做是命令日志文件。
在这里插入图片描述
在这里插入图片描述

1.3 RDB和AOF比较

在这里插入图片描述
在这里插入图片描述


2、Redis主从(解决并发问题)

2.1 搭建主从架构

单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离。
因为根据经验,对Redis的操作大部分都是读,写操作占少数,所以在集群中采用读写分离,同时以少量主节点和大量从节点搭配,大大提升Redis的读取性能。主节点需要注意的就是数据同步如何同步给从节点。
在这里插入图片描述

在同一台服务器上搭建集群的步骤:
1、安装Redis,这里不赘述,博主的redis是在云服务器上利用宝塔面板自动安装的,默认安装在/www/server/redis目录下。
2、这里我会在同一台服务器上开启3个redis实例,模拟主从集群,端口为7001、7002、7003。
3、准备实例和配置。要在同一台虚拟机开启3个实例,必须准备三份不同的配置文件和目录,配置文件所在目录也就是工作目录。我在/tmp/目录下分别创建了7001、7002、7003三个子目录。# 创建目录 mkdir 7001 7002 7003
4、检查原始/www/server/redis/redis.conf文件中,持久化模式保持为默认的RDB模式,AOF保持关闭状态。
5、然后将/www/server/redis/redis.conf文件拷贝到/tmp/7001、/tmp/7002、/tmp/7003三个目录中
6、修改每个文件夹内的配置文件,将端口分别修改为7001、7002、7003,将rdb文件保存位置都修改为自己所在目录,具体执行命令详见黑马的资料
7、虚拟机本身有多个IP,为了避免将来混乱,我们需要在redis.conf文件中指定每一个实例的绑定ip信息(这里我直接将ip全部设置为云服务器ip)
8、由于我的数据库设置了数据库,在后续开启主从关系会出现主节点使用info replication查到的connected_slaves是0的情况。因此需要在从节点的配置文件中添加一行masterauth 自己的密码

集群搭建成功:
在这里插入图片描述

红色框验证数据同步,绿色框验证读写分离(只有主节点能写入)
在这里插入图片描述

2.2 主从数据同步原理

2.2.1 全量同步

主从第一次同步是全量同步
在这里插入图片描述
在这里插入图片描述
全量同步:
在这里插入图片描述
在这里插入图片描述

2.2.2 增量同步

但如果slave重启后同步,则执行增量同步
在这里插入图片描述
在这里插入图片描述

主-从-从链式结构示意图:
在这里插入图片描述
在这里插入图片描述


3、Redis哨兵(解决故障恢复问题)

3.1哨兵的作用和原理

在这里插入图片描述
1、服务状态监控
在这里插入图片描述
2、选举新的master
在这里插入图片描述
3、如何实现故障转移
在这里插入图片描述
在这里插入图片描述

3.2搭建哨兵集群

搭建哨兵集群流程(基于上文搭建的Redis集群搭建):
1、在/tmp/下创建s1,s2,s3三个目录mkdir s1 s2 s3
2、在s1,s2,s3目录下创建sentinel.conf,写入哨兵配置信息,这部分参见黑马资料(因为我的redis设置了密码,所以sentinel.conf中需要添加sentinel auth-pass mymaster(集群名称) 密码
3、在/tmp/下执行redis-sentinal s1/sentinel.conf或者redis-server s1/sentinrl.conf --sentinel启动哨兵sentinel,三台都要启动,此时哨兵已经监控了Redis集群(这里有大坑,本人的Redis集群时在云服务器上搭建的,要在安全组设置开启哨兵对应的端口,否则哨兵间不能进行通信,该情况表现为sentinel启动后日志出现+sdown sentinel 一串sentinelid...

哨兵启动:
红框表示监控的集群信息,该集群有三个节点7001,7002和7003,其中主节点是7001
绿框表示哨兵集群信息,还有两个哨兵分别在27002和27003端口
这些信息都会被记录在sentinel.conf中
在这里插入图片描述
测试节点恢复:
1、主观下线,客观下线

在这里插入图片描述
2、哨兵选主,因为只需要一个哨兵做故障恢复
在这里插入图片描述
3、重新选取新的主节点并更新配置
选取新的master -> 将新选取的主节点7003设置为slaveof no one -> 将原本的主节点7001关于主节点的配置删除 -> 将新的主节点广播给剩余节点(7002)
在这里插入图片描述
4、手动重启7001端口
启动后自动执行replicaof ip 7002 ,成为一个从节点,同时重新进行全量同步。

3.3RedisTemplate的哨兵模式

在这里插入图片描述1、在pom文件中引入redis的starter依赖:

		<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>

2、然后在配置文件application.yml中指定sentinel相关信息:

spring:
  redis:
    password: 1234 #如果Redis有密码市一定要配置密码
    sentinel:
      master: mymaster #指定master名称
      nodes: # 指定Redis集群信息
        - ip地址:27001
        - ip地址:27002
        - ip地址:27003

3、配置主从读写分离(在启动类中)
在这里插入图片描述

@SpringBootApplication
public class RedisDemoApplication {

    public static void main(String[] args) {
        SpringApplication.run(RedisDemoApplication.class, args);
    }

    @Bean
    public LettuceClientConfigurationBuilderCustomizer clientConfigurationBuilderCustomizer(){
        return clientConfigurationBuilder -> clientConfigurationBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);
    }
}

主从自动切换和读写分离由客户端自动完成。


4、Redis分片集群(增强存储能力)

在这里插入图片描述

4.1 搭建分片集群

1、在/tmp目录下删除之前的7001、7002、7003这几个目录,重新创建出7001、7002、7003、8001、8002、8003目录rm -rf 7001 7002 7003 # 删除旧的,避免配置干扰mkdir 7001 7002 7003 8001 8002 8003 #创建目录
2、在/tmp下准备一个新的redis.conf文件

port 7001
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称,不需要我们创建,由redis自己维护
cluster-config-file /tmp/7001/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/7001
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 你的ip
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/7001/run.log
# 密码
# 连接到节点的密码
requirepass 你的密码
# 节点之间的互访访问的密码
masterauth 你的密码

3、将这个文件拷贝到7001、7002、7003、8001、8002、8003目录下:echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf # 执行拷贝
4、修改每个目录下的redis.conf,将其中的6379修改为与所在目录一致printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf # 修改配置文件
5、直接启动服务printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf # 一键启动所有服务
6、带密码的集群创建(后面加 -a 密码)redis-cli --cluster create ip地址:7001 ip地址:7002 ip地址:70039 ip地址:8001 ip地址:8002 ip地址:8003 --cluster-replicas 1 -a 密码
在这里插入图片描述
创建成功!(云服务器用户注意云服务器和宝塔都得开放端口17001,17002,17003,18001,18002,18003,这些是集群的总线端口。)

每个Redis集群中的节点都需要打开两个TCP连接。一个连接用于正常的给Client提供服务,比如7001,还有一个额外的端口(通过在这个端口号上加10000)作为数据端口,例如:redis的端口为7001,那么另外一个需要开通的端口是:7001 + 10000, 即需要开启 17001。17001端口用于集群总线,这是一个用二进制协议的点对点通信信道。这个集群总线(Cluster bus)用于节点的失败侦测、配置更新、故障转移授权,等等。

在这里插入图片描述
7、查询redis集群状态redis-cli -p 7001 -a 密码 cluster nodes

4.2 散列插槽

在这里插入图片描述
验证:redis-cli -c -p 7001 -a 密码
在这里插入图片描述
在这里插入图片描述

4.3 集群伸缩

在这里插入图片描述
【案例】
在这里插入图片描述
1、启动一个新的redis实例,端口为7004redis-server 7004/redis.conf(云服务器和宝塔面板放开7004 和 17004端口)
2、添加7004到之前的集群,并作为一个master节点redis-cli -a 密码 --cluster add-node ip地址:7004 ip地址:7001
3、给7004节点分配插槽,使得num这个key可以存储到7004实例redis-cli -a 密码 --cluster reshard ip地址:7001,这里执行时需要输入:转移到插槽数量,接受插槽的节点id,原始插槽节点id
在这里插入图片描述
【练习】删除7004这个实例
1、将7004节点上的所有插槽转移到其他节点上(我返回给7001)redis-cli -a 密码 --cluster reshard ip地址:7004
2、删除节点redis-cli -a 密码 --cluster del-node ip地址:7004 节点id

4.4 故障转移

4.4.1 自动故障转移

在这里插入图片描述

4.4.2 手动故障转移

在这里插入图片描述

4.5 RedisTemplate访问分片集群

在这里插入图片描述


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/18863.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

java面试笔记-01-集合面试题-介绍

好了,各位同学。下面我们开始新的篇章。就是Java集合相关的面试题。相信啊,说到集合呢,你肯定是比较熟悉的。在我们之前的课程中或者是学习中,大家用过哪些集合比较多呢?List,还有Map对吧? 虽然呢,你使用起来很熟悉,但是在面试的时候,面试官呢,可不会问一些使用的问…

MySQL 数据库 增删查改、克隆、外键 等操作

数据库中有数据表&#xff0c;数据表中有一条一条的记录。 可以用Navicat 等远程连接工具链接数据库&#xff0c;不过数据库需要开启授权。 SQL 字段数据类型 int&#xff1a;整型&#xff0c;默认长度是11 float&#xff1a;单精度浮点&#xff0c;4字节32位 double&#x…

[Gitops--12]微服务项目发布

微服务项目发布 1. 微服务项目发布 [流水线] [创建] [下一步] [创建] 1.1 mall-gateway 确认项目中的路由配置都正确 mall-gateway/src/main/resources/application.yml如果不一样就批量替换一下,一共7处 1.2 mall-auth-server mall-auth-server1.3 mall-cart 1.4 mall-c…

Notepad++配置C语言环境和C++环境

背景&#xff1a; Notepad是我们经常使用的编辑器&#xff0c;我们可以用它编译和运行各种类型的文档&#xff0c;其中就包括了C和C文档。但是编译和运行C或者C文档首先要配置编译环境&#xff0c;下面给大家分享一下如何在NotePad配置C/C编译环境。 工具&#xff1a; NoteP…

ADSP21489之CCES开发笔记(十一)

一、主模式固件加载&#xff1a; 1、激活SPICLK信号&#xff0c;并将SPI_FLG0_O引脚拉低。 2、将读取命令0x03和24位地址0x000000写入从设备。如图24-4所示。 图24-4 二、PCAG时钟选择与配置。 1、来源晶振 2、来源Pin脚 其中来源Pin脚配置PCAG时&#xff0c;需将PCG_CTLx1上加…

Golang每日一练(leetDay0059) 两数之和II、Excel表列名称

目录 167. 两数之和 II 输入有序数组 Two-sum-ii-input-array-is-sorted &#x1f31f;&#x1f31f; 168. Excel表列名称 Excel Sheet Column Title &#x1f31f; &#x1f31f; 每日一练刷题专栏 &#x1f31f; Golang每日一练 专栏 Python每日一练 专栏 C/C每日一练…

云渲染农场具有什么特点?

众所周知&#xff0c;渲染农场的出现是为了解决长时间的图像渲染问题。渲染农场的底层搭建原理是利用很多计算机、网络和操作系统来构建一个庞大的计算群组&#xff0c;把一个渲染任务从一台机器分发到这个计算群组&#xff0c;从而达到短时间内能够快速得到渲染结果。 到了20…

JavaWeb:Web 的基本概念、Tomcat 服务器、Http 详解、Maven 的下载安装步骤、模仿一个 Servlet

文章目录 JavaWeb - 01一、基本概念1、静态 Web2、动态 Web3、Web 应用程序4、三个技术 二、Web 服务器三、Tomcat 详解四、发布一个 Web 网站五、Http 详解1. Http 请求&#xff08;1&#xff09;请求行&#xff08;2&#xff09;消息头 2. Http 响应&#xff08;1&#xff09…

Facebook 用户量十分庞大,为什么还使用 MySQL 数据库?

当谈到社交媒体巨头Facebook时&#xff0c;我们立刻想到的是其庞大的用户基础和每日海量的数据流。然而&#xff0c;您可能会惊讶地发现&#xff0c;尽管面对如此巨大的规模&#xff0c;Facebook 仍然选择使用 MySQL 数据库作为其核心的数据存储和管理系统。 为什么Facebook没…

一文讲透TCP/IP协议 | 图解+秒懂+史上最全

目录 &#x1f64b;‍♂️ TCP/IP协议详解 &#x1f64b;‍♂️ TCP/IP协议的分层模型 OSI模型的七层框架 TCP/IP协议与七层ISO模型的对应关系 &#xff08;一&#xff09;TCP/IP协议的应用层 &#xff08;二&#xff09;TCP/IP协议的传输层 &#xff08;三&#xff09;…

【计算机组成原理】第三章 多层次的存储器

系列文章目录 第一章 计算系统概论 第二章 运算方法和运算器 第三章 多层次的存储器 第四章 指令系统 第五章 中央处理器 第六章 总线系统 第七章 外围设备 第八章 输入输出系统 文章目录 系列文章目录前言第三章 多层次的存储器3.1 存储器概述3.1.1 存储器的分类3.1.2 存储器…

软件测试 - 缺陷管理

1. 缺陷的定义 产品不满足用户的需求或者测试执行时实际结果和预期结果不一致都属于缺陷。 2. 缺陷的判定标准及产生原因 软件不满足下述任何一种都算作是软件的缺陷&#xff0c;缺陷的概念是包括bug概念的。 未达到需求说明书指明的功能出现了需求说明书指明不应该出现的错…

Python+Selenium入门级自动化测试脚本编写

一、安装Selenium 安装selenium有三种方式&#xff0c;主要有python下的pip命令安装或者是直接下载安装包进行安装本地文件夹以及直接用pycharm直接安装相应的selenium版本。推荐使用pycharm直接配置安装相应selenium版本&#xff08;此办法比pip更好用&#xff0c;且不用担心报…

8分钟的面试,我直呼太变态了......

干了两年外包&#xff0c;本来想出来正儿八经找个互联网公司上班&#xff0c;没想到算法死在另一家厂子。 自从加入这家外包公司&#xff0c;每天都在加班&#xff0c;钱倒是给的不少&#xff0c;所以也就忍了。没想到11月一纸通知&#xff0c;所有人不许加班&#xff0c;薪资…

【Linux】Job for network.service failed(网卡启动报错)

上图是Linux网卡启动报错的情况 这是由于cat/etc/sysconfig/network-scripts/ifcfg-xxx 中HWADDR的MAC地址和ifconfig中的MAC地址不一样&#xff0c;或者缺少cat/etc/sysconfig/network-scripts/ifcfg-xxx 中HWADDR的MAC地址 1.查看ifconfig中的MAC地址 图中00&#xff1a;0c…

Unity冷知识:读取用户输入应该写在Update还是FixedUpdate里?

Unity冷知识&#xff1a;读取用户输入应该写在Update还是FixedUpdate里&#xff1f; 版权声明&#xff1a; 本文为“优梦创客”原创文章&#xff0c;您可以自由转载&#xff0c;但必须加入完整的版权声明文章内容&#xff0c;不得删减、修改、演绎相关学习资源见文末 一些人…

谈谈几种分布式锁实现

大家好&#xff0c;我是易安&#xff01;今天我们呢谈一谈常见的分布式锁的几种实现方式。 什么是分布式锁 在JVM中&#xff0c;在多线程并发的情况下&#xff0c;我们可以使用同步锁或Lock锁&#xff0c;保证在同一时间内&#xff0c;只能有一个线程修改共享变量或执行代码块…

Java 基础进阶篇(十二)—— Stream 流常用方法总结

文章目录 一、Stream流概述二、获取Stream流2.1 集合获取 Stream 流2.2 数组获取 Stream 流 三、中间方法四、终结方法五、Stream流的综合应用六、收集Stream流 一、Stream流概述 Stream 流是在 Java8 中&#xff0c;得益于 Lambda 所带来的函数式编程&#xff0c; 引入了一个…

使用【SD-WEBUI】插件生成单张图包含多个人物:分区域的提示词

文章目录 &#xff08;零&#xff09;前言&#xff08;一&#xff09;潜变量成对&#xff08;Latent Couple&#xff09;&#xff08;1.1&#xff09;可自组LoRA&#xff08;Composable LoRA&#xff09; &#xff08;二&#xff09;分区扩散&#xff08;Multi Diffusion&#…

深入理解二分类和多分类CrossEntropy Loss和Focal Loss

深入理解二分类和多分类CrossEntropy Loss和Focal Loss 二分类交叉熵 在二分的情况下&#xff0c;模型最后需要预测的结果只有两种情况&#xff0c;对于每个类别我们的预测得到的概率为 p p p和 1 − p 1-p 1−p&#xff0c;此时表达式为&#xff08; 的 log ⁡ \log log底数…