Redis(B站黑马)学习笔记
01Redis基础
文章目录
- Redis(B站黑马)学习笔记
- 前言
- 01Redis基础
- 初始Redis
- 认识NoSQL
- 认识Redis
- 安装Redis
- Linux版安装
- 官网压缩包下载
- 使用yum下载(个人不推荐,找不到安装目录,配置文件都散着放的)
- Windows版安装
- redis配置
- Redis常见命令
- Redis数据结构介绍
- Redis通用命令
- String类型
- Key的层级结构
- Hash类型
- List类型
- Set类型
- SortedSet类型
- Redis的Java客户端
- Jedis客户端
- Jedis快速入门
- Jedis的连接池
- SpringDataRedis客户端
- RedisTemplate
- SpringDataRedis的序列化方式
- StringRedisTemplate
- 使用FastJson实现序列化与反序列化
- 注:
前言
Redis(B站黑马)学习笔记 01Redis基础
01Redis基础
初始Redis
认识NoSQL
传统关系型数据库是结构化数据,每一张表都有严格的约束信息:字段名.字段数据类型.字段约束等等信息,插入的数据必须遵守这些约束;
而NoSql则对数据库格式没有严格约束,往往形式松散,自由。可以是键值型(Key-Value),也可以是文档型(Document json形式的),甚至可以是图格式(Graph 不常用)
传统数据库的表与表之间往往存在关联,例如外键;而非关系型数据库不存在关联关系,要维护关系要么靠代码中的业务逻辑,要么靠数据之间的耦合;
传统关系型数据库会基于Sql语句做查询,语法有统一标准,只要是关系型数据库都可以用Sql语句查询,不管是MySQL还是Oracle都可以;
而不同的非关系数据库查询语法差异极大,五花八门各种各样;
传统关系型数据库能满足事务ACID的原则;而非关系型数据库往往不支持事务,或者不能严格保证ACID的特性,只能实现基本的一致性;
认识Redis
Redis诞生于2009年全称是Remote Dictionary Server 远程词典服务器,是一个基于内存的键值型NoSQL数据库。
Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache, andmessae broker,翻译为: Redis是一个开源的内存中的数据结构存储系统,它可以用作:数据库、缓存和消息中间件
Redis官方网址:https://redis.io/
Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库,官方提供的数据是可以达到100000+的OPS(每秒内查询次数)。它存储的value类型比较丰富,也被称为结构化的NoSql数据库
Redis 应用场景
- 缓存
- 任务队列
- 消息队列
- 分布式锁
安装Redis
Linux版安装
官网压缩包下载
在Linux系统安装Redis步骤
1.将Redis安装包上传到Linux
2.解压安装包,命令:tar -zxvf redis-7.0.10.tar.gz -C /export/server
3.安装Redis的依赖环境gcc,命令: yum install gcc-c++
4.进入/export/server/redis-7.0.10,进行 编译,命令: make
5.进入redis的src目录,进行安装,命令:make install
地址:https://redis.io/download/
运行redis服务和客户端
至此,redis安装完成。
使用yum下载(个人不推荐,找不到安装目录,配置文件都散着放的)
1.配置EPEL仓库
EPEL 的全称叫 Extra Packages for Enterprise Linux 。EPEL是由 Fedora 社区打造,为 RHEL 及衍生发行版如 CentOS、Scientific Linux 等提供高质量软件包的项目。装上了 EPEL之后,就相当于添加了一个第三方源。EPEL则为服务器版本提供大量的rpm包(yum程序所使用的程序安装包,类似Windows的exe),而且大多数rpm包在官方 repository 中是找不到的。
# root执行
yum install -y epel-release
2.安装redis
# root执行
yum install -y redis
注意:当使用yum安装Redis时,Redis服务器程序的可执行文件通常被安装在/usr/bin/redis-server路径下,而命令行客户端程序则被安装在/usr/bin/redis-cli路径下。配置文件通常被放置在/etc/redis.conf
3.启动redis
第一种使用systemctl管控
# root执行
# 使用systemctl管控,服务名:redis
systemctl enable redis # 开机自启
systemctl disable redis # 关闭开机自启
systemctl start redis # 启动
systemctl stop redis # 关闭
systemctl status redis # 查看状态
4.放行防火墙,redis使用端口6379
# 方式1(推荐),关闭防火墙
systemctl stop firewalld # 关闭
systemctl disable firewalld # 关闭开机自启
# 方式2,放行6379端口
firewall-cmd --add-port=6379/tcp --permanent # 放行tcp规则下的6379端口,永久生效
firewall-cmd --reload
5.进入redis服务
# 执行redis-cli
[root@centos ~]# redis-cli
127.0.0.1:6379> set mykey hello
OK
127.0.0.1:6379> get mykey
"hello"
127.0.0.1:6379>
至此,redis安装完成。
Windows版安装
windows版安装包下载地址:https://github.com/tporadowski/redis/releases(官网只有Linux版本的,其它版本都是大佬写的)
下载的安装包有两种形式,一种是一键安装的msi文件,还有一种是解压缩就能使用的zip文件,哪种形式都行,这里就不介绍安装过程了,本课程采用的是msi一键安装的msi文件进行安装的。
下载完成后直接双击运行进行安装(啥都没勾,只改了安装路径)
安装完成
服务端启动命令
- redis-server.exe redis.windows.conf
客户端启动命令
- redis-cli.exe
在文件路径输入cmd进入命令行窗口
输入redis-server.exe启动发现报错,原因是没有给配置文件。把配置文件加上,发现还是报错,这是windows版的小bug,我们再打开一个当前路径的cmd窗口,输入redis-cli启动客户端,输入shutdown命令然后再输入exit退出。重新输入redis-server.exe redis.windows.conf就能启动了
如果redis-server.exe redis.windows.conf不能正常启动就先redis-cli启动客户端输入shutdown后退出再启动就行。
redis配置
需要修改的相关配置,下面会详细解释
# 守护进程,修改为yes后即可后台运行
daemonize yes
# 密码,设置后访问Redis必须输入密码
requirepass 123321
# 允许访问的地址,默认是127.0.0.1,会导致只能在本地访问。修改为0.0.0.0则可以在任意IP访问,生产环境不要设置为0.0.0.0
bind 0.0.0.0
后台启动
之前是通过霸屏的形式启动redis服务的,我们可以通过修改配置文件让其后台运行redis服务。配置文件所在位置,在redis安装目录下的redis.conf文件。
设置密码
(远程连接redis需要设置密码,否则无法远程连接)
vim打开redis.conf文件,修改为需要密码,并设置密码
重新启动redis服务就需要进行密码认证了
src/redis-cli -h localhost -p 6379 # -h后面是默认的,不写也是。
auth 123456 # 输入密码进行认证
src/redis-cli -h localhost -p 6379 -a 123456 # 加上密码进行连接
远程连接
vim打开redis.conf文件,注释掉bind 127.0.0.1或者将修改为0.0.0.0则可以在任意IP访问,不然它只允许本地连接
重启redis服务
放行防火墙,否则外部无法访问,redis使用端口6379
# 方式1(推荐),关闭防火墙一劳永逸
systemctl stop firewalld # 关闭
systemctl disable firewalld # 关闭开机自启
# 方式2,放行6379端口
firewall-cmd --add-port=6379/tcp --permanent # 放行tcp规则下的6379端口,永久生效
firewall-cmd --reload
测试远程连接(以windows为例)
在redis-cli.exe文件所在目录,输入cmd进入命令提示符窗口
输入:redis-cli.exe -h 'IP地址' -p '端口号' -a '密码' 进行连接
Redis常见命令
Redis数据结构介绍
Redis是一个key-value的数据库,key一般是String类型,不过value的类型多种多样:
Redis为了方便我们学习,将操作不同数据类型的命令也做了分组,在官网( https://redis.io/commands )可以查看到不同的命令:
也可在命令行查看帮助文档(不过没有官网详细)
Redis通用命令
通用指令是部分数据类型的,都可以使用的指令(不用专门记,要学会查看帮助文档),常见的有:
- KEYS:查看符合模板的所有key,不建议在生产环境设备上使用
- DEL:删除一个指定的key
- EXISTS:判断key是否存在
- EXPIRE:给一个key设置有效期,有效期到期时该key会被自动删除
- TTL:查看一个KEY的剩余有效期(返回-1表示永久有效,-2表示失效)
通过help [command] 可以查看一个命令的具体用法,例如:
String类型
String类型,也就是字符串类型,是Redis中最简单的存储类型。
其value是字符串,不过根据字符串的格式不同,又可以分为3类:
- string:普通字符串
- int:整数类型,可以做自增、自减操作
- float:浮点类型,可以做自增、自减操作
不管是哪种格式,底层都是字节数组形式存储,只不过是编码方式不同。字符串类型的最大空间不能超过512m.
String的常见命令有:
- SET:添加或者修改已经存在的一个String类型的键值对
- GET:根据key获取String类型的value
- MSET:批量添加多个String类型的键值对
- MGET:根据多个key获取多个String类型的value
- INCR:让一个整型的key自增1
- INCRBY:让一个整型的key自增并指定步长,例如:incrby num 2 让num值自增2
- INCRBYFLOAT:让一个浮点类型的数字自增并指定步长
- SETNX:添加一个String类型的键值对,前提是这个key不存在,否则不执行(真正的新增,不存在新增,存在则不新增)
- SETEX:添加一个String类型的键值对,并且指定有效期
Key的层级结构
Redis没有类似MySQL中的Table的概念,我们该如何区分不同类型的key呢?
- 例如,需要存储用户、商品信息到redis,有一个用户id是1,有一个商品id恰好也是1
key的结构
Redis的key允许有多个单词形成层级结构,多个单词之间用’:'隔开,格式如下:
这个格式并非固定,也可以根据自己的需求来删除或添加词条。
例如我们的项目名称叫 heima,有user和product两种不同类型的数据,我们可以这样定义key:
- user相关的key:heima:user:1
- product相关的key:heima:product:1
如果Value是一个Java对象,例如一个User对象,则可以将对象序列化为JSON字符串后存储:
在命令行窗口看不出什么,都跟字符串一样,我们切换到图形化窗口就能看到区别了。我们以冒号隔开时就自然形成了层级结构,这样看得就很舒服了
Hash类型
Hash类型,也叫散列,其value是一个无序字典,类似于Java中的HashMap结构。
String结构是将对象序列化为JSON字符串后存储,当需要修改对象某个字段时很不方便:
Hash结构可以将对象中的每个字段独立存储,可以针对单个字段做CRUD:
Hash类型的常见命令有:
- HSET key field value:添加或者修改hash类型key的field的值
- HGET key field:获取一个hash类型key的field的值
- HMSET:批量添加多个hash类型key的field的值
- HMGET:批量获取多个hash类型key的field的值
- HGETALL:获取一个hash类型的key中的所有的field和value
- HKEYS:获取一个hash类型的key中的所有的field
- HVALS:获取一个hash类型的key中的所有的value
- HINCRBY:让一个hash类型key的字段值自增并指定步长
- HSETNX:添加一个hash类型的key的field值,前提是这个field不存在,否则不执行
图形化界面中显示
List类型
Redis中的List类型与Java中的LinkedList类似,可以看做是一个双向链表结构。既可以支持正向检索和也可以支持反向检索。
特征也与LinkedList类似:
- 有序
- 元素可以重复
- 插入和删除快
- 查询速度一般
常用来存储一个有序数据,例如:朋友圈点赞列表,评论列表等。
List类型的常见命令有:
- LPUSH key element … :向列表左侧插入一个或多个元素
- LPOP key:移除并返回列表左侧的第一个元素,没有则返回nil
- RPUSH key element … :向列表右侧插入一个或多个元素
- RPOP key:移除并返回列表右侧的第一个元素
- LRANGE key star end:返回一段角标范围内的所有元素(0开始)
- BLPOP和BRPOP:与LPOP和RPOP类似,只不过在没有元素时等待指定时间(block阻塞),时间到还没有元素就返回nil,而不是直接返回nil
Set类型
Redis的Set结构与Java中的HashSet类似,可以看做是一个value为null的HashMap。因为也是一个hash表,因此具备与HashSet类似的特征:
- 无序
- 元素不可重复
- 查找快
- 支持交集、并集、差集等功能
String类型的常见命令有:
- SADD key member … :向set中添加一个或多个元素
- SREM key member … : 移除set中的指定元素
- SCARD key: 返回set中元素的个数
- SISMEMBER key member:判断一个元素是否存在于set中
- SMEMBERS:获取set中的所有元素
- SINTER key1 key2 … :求key1与key2的交集
- SDIFF key1 key2 … :求key1与key2的差集
- SUNION key1 key2 …:求key1和key2的并集
案例:Set命令的练习
将下列数据用Redis的Set集合来存储:
- 张三的好友有:李四、王五、赵六
- 李四的好友有:王五、麻子、二狗
利用Set的命令实现下列功能:
- 计算张三的好友有几人
- 计算张三和李四有哪些共同好友
- 查询哪些人是张三的好友却不是李四的好友
- 查询张三和李四的好友总共有哪些人
- 判断李四是否是张三的好友
- 判断张三是否是李四的好友
- 将李四从张三的好友列表中移除
SortedSet类型
Redis的SortedSet是一个可排序的set集合,与Java中的TreeSet有些类似,但底层数据结构却差别很大。SortedSet中的每一个元素都带有一个score属性,可以基于score属性对元素排序,底层的实现是一个跳表(SkipList)加 hash表。
SortedSet具备下列特性:
- 可排序
- 元素不重复
- 查询速度快
因为SortedSet的可排序特性,经常被用来实现排行榜这样的功能。
SortedSet类型的常见命令有:
- ZADD key score member:添加一个或多个元素到sorted set ,如果已经存在则更新其score值
- ZREM key member:删除sorted set中的一个指定元素
- ZSCORE key member : 获取sorted set中的指定元素的score值
- ZRANK key member:获取sorted set 中的指定元素的排名
- ZCARD key:获取sorted set中的元素个数
- ZCOUNT key min max:统计score值在给定范围内的所有元素的个数
- ZINCRBY key increment member:让sorted set中的指定元素自增,步长为指定的increment值
- ZRANGE key min max:按照score排序后,获取指定排名范围内的元素
- ZRANGEBYSCORE key min max:按照score排序后,获取指定score范围内的元素
- ZDIFF、ZINTER、ZUNION:求差集、交集、并集
注意:所有的排名默认都是升序,如果要降序则在命令的Z后面添加REV即可
案例:SortedSet命令练习
将班级的下列学生得分存入Redis的SortedSet中:
Jack 85, Lucy 89, Rose 82, Tom 95, Jerry 78, Amy 92, Miles 76
- 并实现下列功能:
- 删除Tom同学
- 获取Amy同学的分数
- 获取Rose同学的排名
- 查询80分以下有几个学生
- 给Amy同学加2分
- 查出成绩前3名的同学
- 查出成绩80分以下的所有同学
Redis的Java客户端
在Redis官网中提供了各种语言的客户端,地址:https://redis.io/clients
Jedis客户端
以Redis命令作为方法名称,学习成本低,简单实用。但是Jedis实例是线程不安全的,多线程环境下需要基于连接池来使用
Jedis快速入门
Jedis的官网地址: https://github.com/redis/jedis,我们先来个快速入门:(以下也是按官网的快速入门操作的,可以直接看官网的)
1.引入依赖:
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>4.3.0</version>
</dependency>
2.建立连接:
@BeforeEach
void setUp(){
// 1.建立连接
jedis = new Jedis("192.168.81.130", 6379);
// 2.设置密码
jedis.auth("123456");
// 3.选择库
jedis.select(0);
}
3.测试String:
@Test
void testString(){
// 存入数据
String result = jedis.set("name", "张三");
System.out.println("result = " + result);
// 获取数据
String name = jedis.get("name");
System.out.println("name = " + name);
}
4.释放资源:
@AfterEach
void tearDown(){
// 释放资源
if (jedis != null){
jedis.close();
}
}
创建maven工程,导入依赖
快速入门操作
测试hash类型数据(都是一样的,以Redis命令作为方法名称)
Jedis的连接池
Jedis本身是线程不安全的,并且频繁的创建和销毁连接会有性能损耗,因此推荐大家使用Jedis连接池代替Jedis的直连方式。
public class JedisConnectionFactory {
private static final JedisPool jedisPool;
static {
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
// 最大连接
jedisPoolConfig.setMaxTotal(8);
// 最大空闲连接
jedisPoolConfig.setMaxIdle(8);
// 最小空闲连接
jedisPoolConfig.setMinIdle(0);
// 设置最长等待时间, ms
jedisPoolConfig.setMaxWaitMillis(200);
jedisPool=new JedisPool(jedisPoolConfig, "192.168.81.130", 6379,
1000, "123456");
}
// 获取Jedis对象
public static Jedis getJedis(){
return jedisPool.getResource();
}
}
SpringDataRedis客户端
SpringData是Spring中数据操作的模块,包含对各种数据库的集成,其中对Redis的集成模块就叫做SpringDataRedis,官网地址:https://spring.io/projects/spring-data-redis
- 提供了对不同Redis客户端的整合(Lettuce和Jedis)
- 提供了RedisTemplate统一API来操作Redis
- 支持Redis的发布订阅模型
- 支持Redis哨兵和Redis集群
- 支持基于Lettuce的响应式编程
- 支持基于JDK、JSON、字符串、Spring对象的数据序列化及反序列化
- 支持基于Redis的JDKCollection实现
RedisTemplate
SpringDataRedis中提供了RedisTemplate工具类,其中封装了各种对Redis的操作。并且将不同数据类型的操作API封装到了不同的类型中:
SpringBoot已经提供了对SpringDataRedis的支持,使用非常简单:
1.引入依赖
<!--springboot整合redis-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<!--连接池依赖(Lettuce/Jedis底层都会基于commons-pool实现连接池效果)-->
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
</dependency>
2.配置文件
spring:
redis:
host: 192.168.81.130
port: 6379
password: 123456
lettuce:
pool: # 不配置pool默认不生效
max-active: 8 # 最大连接
max-idle: 8 # 最大空闲连接
min-idle: 0 # 最小空闲连接
max-wait: 100 # 连接等待时间
3.注入RedisTemplate
@Autowired
private RedisTemplate redisTemplate;
4.编写测试
@Test
void testString() {
// 写入一条String类型
ValueOperations ops = redisTemplate.opsForValue();
ops.set("name", "张三");
// 获取string数据
Object name = ops.get("name");
System.out.println("name = " + name);
}
SpringDataRedis的序列化方式
前面我们在idea中set了一些数据,我们可以在redis-cli中获取试试,会发现获取到的是nil空;那在redis-cli中set同样的name去idea获取试试,会发现获取到的还是原来的张三。
因为RedisTemplate是以对象为操作的基本单元,而redis里是以字符串操作为基本单元,因此当操作的数据以对象的形式存在时,会进行转码。它可以接收任意Object作为值写入Redis,只不过写入前会把Object序列化为字节形式,默认是采用JDK序列化,得到的结果是这样的:(key和value都被转码了,所以操作的不是同一个key)
缺点:
- 可读性差
- 内存占用较大
我们可以自定义RedisTemplate的序列化方式,实现自动序列化与反序列化,代码如下:
/**
* 自定义RedisTemplate的序列化方式,实现自动序列化与反序列化
*/
@Configuration
public class RedisConfig {
@Bean
public RedisTemplate<Object, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory){
// 创建Template
RedisTemplate<Object, Object> template = new RedisTemplate<>();
// 设置连接工厂
template.setConnectionFactory(redisConnectionFactory);
// 设置序列化工具(可根据业务需求更换序列化工具,如FastJson等)
GenericJackson2JsonRedisSerializer jsonRedisSerializer = new GenericJackson2JsonRedisSerializer();
//Jackson2JsonRedisSerializer jsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
// key和 hashKey采用 string序列化
template.setKeySerializer(RedisSerializer.string());
template.setHashKeySerializer(RedisSerializer.string());
// value和 hashValue采用 JSON序列化
template.setValueSerializer(jsonRedisSerializer);
template.setHashValueSerializer(jsonRedisSerializer);
template.afterPropertiesSet();
return template;
}
}
记得添加Jackson的依赖(SpringWeb中集成了Jackson,所以一般web开发不用添加)
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
</dependency>
测试运行
同样可以存储对象数据,它会实现自动序列化与反序列化
StringRedisTemplate
尽管JSON的序列化方式可以满足我们的需求,但依然存在一些问题,如图:
为了在反序列化时知道对象的类型,JSON序列化器会将类的class类型写入json结果中,存入Redis,会带来额外的内存开销。
为了节省内存空间,我们并不会使用JSON序列化器来处理value,而是统一使用String序列化器,要求只能存储String类型的key和value。当需要存储Java对象时,手动完成对象的序列化和反序列化。(后面有补充如何使用FastJson手动选择是否加入类的class类型)
springboot整合redis时提供了专用的API接口StringRedisTemplate,可以理解为这是RedisTemplate的一种指定数据泛型的操作API,它的key和value的序列化方式默认就是String方式。省去了我们自定义RedisTemplate的过程:
@Autowired
private StringRedisTemplate stringRedisTemplate;
// JSON工具
private static final ObjectMapper mapper = new ObjectMapper();
@Test
void testStringTemplate() throws JsonProcessingException {
// 准备对象
User user = new User("张三", 20);
// 手动序列化
String json = mapper.writeValueAsString(user);
// 写入一条数据到redis
ValueOperations<String, String> ops = stringRedisTemplate.opsForValue();
ops.set("name:200", json);
// 读取数据
String val = ops.get("name:200");
User user1 = mapper.readValue(val, User.class);
System.out.println("user1 = " + user1);
}
使用FastJson实现序列化与反序列化
前面我们有提到可根据业务需求更换序列化工具,这里讲解如何使用FastJson实现序列化与反序列化。该方法可以手动选择是否将类的class类型写入json结果中,存入Redis,不写入就不会带来额外的内存开销。
同样,如果我们使用redis做缓存的话同样可以使用这个自定义RedisTemplate的序列化方式,使用注解和redisTemplate就可以搭配一起处理了。
这里提供使用阿里巴巴FastJson的序列化工具,其中RedisConfig中配置的cacheManager是SpringBoot整合Redis缓存使用的,用于自动将注解实现的缓存进行序列化与反序列化
有道云笔记内下载:https://note.youdao.com/s/A9KL4xMe(笔记内这个小结的地方可以下载)
添加FastJson依赖
<!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.75</version>
</dependency>
JSON.toJSONString(t, SerializerFeature.WriteClassName)方法介绍:
该代码是使用Fastjson库将Java对象t序列化为JSON字符串,并启用了WriteClassName选项。在默认情况下,Fastjson只会序列化Java对象的属性值,而不会包含类型信息。如果需要将类型信息也一并序列化到JSON字符串中,则可以使用WriteClassName选项,它会在JSON字符串中增加一个特别的属性@type,用于表示序列化对象的类型。这样,在反序列化时Fastjson就能根据@type属性恢复原来的Java对象类型。其余相关参数请看官网
注:
该内容是根据B站黑马程序员学习时所记,相关资料可在B站查询:黑马程序员Redis入门到实战教程,深度透析redis底层原理+redis分布式锁+企业解决方案+黑马点评实战项目