图解redis的client的实现

目录

1.引言

2.客户端属性

2.1套接字描述符

2.2 name

2.3 客户端标志

2.4输入缓冲区

2.5命令与命令参数

2.6命令实现的函数

2.7输出缓冲区

2.8身份验证

 2.9 时间

3.客户端的创建的关闭

3.1普通客户端的创建

 3.2普通客户端的关闭

3.AOF的伪客户端

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         


1.引言

Redis服务器是典型的一对多服务器程序一个服务器可以与多个 客户端建立网络连接,每个客户端可以向服务器发送命令请求,而服务器则接收并处理客户端发送的命令请求,并向客户端返回命令回复
通过使用由 I/O 多路复用技术实现的文件事件处理器, Redis 服务器 使用单线程单进程的方式来处理命令请求,并与多个客户端进行网络通信
所用数据结构成员概述():
1.客户端的套接字描述符。
2.客户端的名字。
3.客户端的标志值(flag)。
4.指向客户端正在使用的数据库的指针,以及该数据库的号码。
5.客户端当前要执行的命令、命令的参数、命令参数的个数,以及指向命令实现函数的指针。
6.· 客户端的输入缓冲区和输出缓冲区。
7.· 客户端的复制状态信息,以及进行复制所需的数据结构。
8.· 客户端执行 BRPOP BLPOP 等列表阻塞命令时使用的数据结构。
9.· 客户端的事务状态,以及执行 WATCH 命令时用到的数据结构。
10.· 客户端执行发布与订阅功能时用到的数据结构。
11.· 客户端的身份验证标志。 · 客户端的创建时间,客户端和服务器最后一次通信的时间,以及 客户端的输出缓冲区大小超出软性限制(soft limit)的时间

2.客户端属性

客户端状态包含的属性可以分为两类:
·一类是比较通用的属性,这些属性很与特定功能相关,无论客户端执行的是什么工作,它们都要用到这些属性。
另外一类是和特定功能相关的属性,比如操作数据库时需要用到 的db 属性和 dictid 属性,执行事务时需要用到的 mstate 属性,以及执行WATCH命令时需要用到的 watched_keys 属性等等

2.1套接字描述符

typedef struct redisClient {
// ...
int fd;
// ...
} redisClient
根据客户端类型的不同, fd 属性的值可以是 -1 或者是大于 -1 的整数:
解析:
1.伪客户端(fake client)的fd属性的值为 -1 :伪客户端处理的命令请 求来源于AOF 文件或者 Lua 脚本,而不是网络,所以这种客户端不需要 套接字连接,自然也不需要记录套接字描述符。目前Redis 服务器会在 两个地方用到伪客户端,一个用于载入AOF文件并还原数据库状态,而另一个则用于执行Lua脚本中包含的Redis命令
2.普通客户端的fd属性的值为大于-1的整数:普通客户端使用套接字来与服务器进行通信,所以服务器会用fd属性来记录客户端套接字的描述符。因为合法的套接字描述符不能是-1,所以普通客户端的套接字描述符的值必然是大于-1的整数
执行CLIENT list命令可以列出目前所有连接到服务器的普通客户 端,命令输出中的fd域显示了服务器连接客户端所使用的套接字描述 符
127.0.0.1:6379[2]> client list
id=2 addr=127.0.0.1:38462 fd=6 name= age=450796 idle=0 flags=N db=2 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=client

2.2 name

在默认情况下,一个连接到服务器的客户端是没有名字的

使用CLIENT setname命令可以为客户端设置一个名字,让客户端的 身份变得更清晰

client setname second
OK

使用client 展现

client list 
id=3 addr=127.0.0.1:38502 fd=6 name=second age=136 idle=59 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=client
id=4 addr=127.0.0.1:38504 fd=7 name= age=22 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=client

注意name=second

数据结构

typedef struct redisClient {
// ...
robj *name;
// ...
} redisClient;

如果客户端没有为自己设置名字,那么相应客户端状态的name属性 指向NULL指针;相反地,如果客户端为自己设置了名字,那么name属 性将指向一个字符串对象,而该对象就保存着客户端的名字

下图示例

2.3 客户端标志

客户端的标志属性flags记录了客户端的角色(role),以及客户端目前所处的状态:

typedef struct redisClient {
// ...
int flags;
// ...
} redisClient;

标志形态

flags = <flag>

flags = <flag1> | <flag2> | ...

每个标志使用一个常量表示,一部分标志记录了客户端的角色:

·在主从服务器进行复制操作时,主服务器会成为从服务器的客户 端,而从服务器也会成为主服务器的客户端。REDIS_MASTER标志表 示客户端代表的是一个主服务器,REDIS_SLAVE标志表示客户端代表 的是一个从服务器

·REDIS_PRE_PSYNC标志表示客户端代表的是一个版本低于 Redis2.8的从服务器,主服务器不能使用PSYNC命令与这个从服务器进 行同步。这个标志只能在REDIS_SLAVE标志处于打开状态时使用。
·REDIS_LUA_CLIENT标识表示客户端是专门用于处理Lua脚本里面包含的Redis命令的伪客户端。
另外一部分标志则记录客户端目前所处的状态
·REDIS_MONITOR标志表示客户端正在执行MONITOR命令。
·REDIS_UNIX_SOCKET标志表示服务器使用UNIX套接字来连接客 户端。
·REDIS_BLOCKED标志表示客户端正在被BRPOP、BLPOP等命令阻塞。
·REDIS_UNBLOCKED标志表示客户端已经从REDIS_BLOCKED标 志所表示的阻塞状态中脱离出来,不再阻塞。REDIS_UNBLOCKED标 志只能在REDIS_BLOCKED标志已经打开的情况下使用。
·REDIS_MULTI标志表示客户端正在执行事务。
·REDIS_DIRTY_CAS标志表示事务使用WATCH命令监视的数据库 键已经被修改,REDIS_DIRTY_EXEC标志表示事务在命令入队时出现 了错误,以上两个标志都表示事务的安全性已经被破坏,只要这两个标 记中的任意一个被打开,EXEC命令必然会执行失败。这两个标志只能 在客户端打开了REDIS_MULTI标志的情况下使用。
·REDIS_CLOSE_ASAP标志表示客户端的输出缓冲区大小超出了服务器允许的范围,服务器会在下一次执行serverCron函数时关闭这个客 户端,以免服务器的稳定性受到这个客户端影响。积存在输出缓冲区中 的所有内容会直接被释放,不会返回给客户端。
·REDIS_CLOSE_AFTER_REPLY标志表示有用户对这个客户端执 行了CLIENT KILL命令,或者客户端发送给服务器的命令请求中包含了 错误的协议内容。服务器会将客户端积存在输出缓冲区中的所有内容发 送给客户端,然后关闭客户端。
·REDIS_ASKING标志表示客户端向集群节点(运行在集群模式下 的服务器)发送了ASKING命令。
·REDIS_FORCE_AOF标志强制服务器将当前执行的命令写入到 AOF文件里面
REDIS_FORCE_REPL标志强制主服务器将当前执行的 命令复制给所有从服务器。执行PUBSUB命令会使客户端打开 REDIS_FORCE_AOF标志,执行SCRIPT LOAD命令会使客户端打开 REDIS_FORCE_AOF标志和REDIS_FORCE_REPL标志。
·在主从服务器进行命令传播期间,从服务器需要向主服务器发送 REPLICATION ACK命令,在发送这个命令之前,从服务器必须打开主 服务器对应的客户端的REDIS_MASTER_FORCE_REPLY标志,否则发 送操作会被拒绝执行。

2.4输入缓冲区

客户端状态的输入缓冲区用于保存客户端发送的命令请求:

typedef struct redisClient {
// ...
sds querybuf;
// ...
} redisClient;

举个例子:

SET key value

那么客户端状态的querybuf属性将是一个包含以下内容的SDS值

*3\r\n$3\r\nSET\r\n$3\r\nkey\r\n$5\r\nvalue\r\n

下图展现这个SDS值以及querybuf属性的样子

 

2.5命令与命令参数

在服务器将客户端发送的命令请求保存到客户端状态的querybuf属性之后,服务器将对命令请求的内容进行分析,并将得出的命令参数以及命令参数的个数分别保存到客户端状态的argv属性和argc属性

argv属性是一个数组,数组中的每个项都是一个字符串对象,其中 argv[0]是要执行的命令,而之后的其他项则是传给命令的参数。
argc属性则负责记录argv数组的长度
举个例子 对于 上面命令 set key value

 

2.6命令实现的函数

当服务器从协议内容中分析并得出argv属性和argc属性的值之后, 服务器将根据项argv[0]的值,在命令表中查找命令所对应的命令实现函数(repertoire)

下图展示了一个命令表示例,该表是一个字典,字典的键是一个 SDS结构,保存了命令的名字,字典的值是命令所对应的redisCommand 结构,这个结构保存了命令的实现函数、命令的标志、命令应该给定的 参数个数、命令的总执行次数和总消耗时长等统计信

 当程序在命令表中成功找到argv[0]所对应的redisCommand结构时, 它会将客户端状态的cmd指针指向这个结构

typedef struct redisClient {
// ...
struct redisCommand *cmd;
// ...
} redisClient;

之后,服务器就可以使用cmd属性所指向的redisCommand结构,以 及argv、argc属性中保存的命令参数信息,调用命令实现函数,执行客户端指定的命令

下图举例 演示了服务器在argv[0]为"SET"时,查找命令表并将客户端 状态的cmd指针指向目标redisCommand结构的整个过程

 note1 针对命令表的查找操作不区分输入字母的大小写,所以无论argv[0] 是"SET"、"set"、或者"SeT"等等,查找的结果都是相同的

2,7输出缓冲区

执行命令所得的命令回复会被保存在客户端状态的输出缓冲区里 面,每个客户端都有两个输出缓冲区可用,一个缓冲区的大小是固定 的,另一个缓冲区的大小是可变的

1.固定大小的缓冲区用于保存那些长度比较小的回复,比如OK、简 短的字符串值、整数值、错误回复等等

2.可变大小的缓冲区用于保存那些长度比较大的回复,比如一个非 常长的字符串值,一个由很多项组成的列表,一个包含了很多元素的集合等等

客户端的固定大小缓冲区由buf和bufpos两个属性组成

typedef struct redisClient {
// ...
char buf[REDIS_REPLY_CHUNK_BYTES];
int bufpos;
// ...
} redisClient;

buf是一个大小为REDIS_REPLY_CHUNK_BYTES字节的字节数组,而bufpos属性则记录了buf数组目前已使用的字节数量。

REDIS_REPLY_CHUNK_BYTES常量目前的默认值为16*1024,也 即是说,buf数组的默认大小为16KB

举个例子:展现回复一个"OK”

 note2:当buf数组的空间已经用完,或者回复因为太大而没办法放进buf数 组里面时,服务器就会开始使用可变大小缓冲区

可变大小缓冲区由reply链表和一个或多个字符串对象组成:

typedef struct redisClient {
// ...
list *reply;
// ...
} redisClient;

通过使用链表来连接多个字符串对象,服务器可以为客户端保存一 个非常长的命令回复,而不必受到固定大小缓冲区16KB大小的限制。

 2.8身份验证

客户端状态的authenticated属性用于记录客户端是否通过了身份验证:

authenticated属性仅在服务器启用了身份验证功能时使用。如果服 务器没有启用身份验证功能的话,那么即使authenticated属性的值为 0(这是默认值),服务器也不会拒绝执行客户端发送的命令请求。 关于服务器身份验证的更多信息可以参考示例配置文件对 requirepass选项的相关说明

设置密码

config requirepass 111111
typedef struct redisClient {
// ...
int authenticated;
// ...
} redisClient;

如果authenticated的值为0,那么表示客户端未通过身份验证;如果 authenticated的值为1,那么表示客户端已经通过了身份验证

举个例子 对于一个尚未进行身份验证的客户端来说,客户端状态 的authenticated属性

 当客户端authenticated属性的值为0时,除了AUTH命令之外,客户 端发送的所有其他命令都会被服务器拒绝执行

redis> PING
(error) NOAUTH Authentication required.
redis> SET msg "hello world"
(error) NOAUTH Authentication required.

当客户端通过AUTH命令成功进行身份验证之后,客户端状态 authenticated属性的值就会从0变为1

# authenticated
属性的值从0
变为1
redis> AUTH 123321
OK
redis> PING
PONG
redis> SET msg "hello world"
Ok

2.9 时间

typedef struct redisClient {
// ...
time_t ctime;
time_t lastinteraction;
time_t obuf_soft_limit_reached_time;
// ...
} redisClient

1.ctime属性记录了创建客户端的时间,这个时间可以用来计算客户 端与服务器已经连接了多少秒,CLIENT list命令的age域记录了这个秒 数

2.astinteraction属性记录了客户端与服务器最后一次进行互动 (interaction)的时间,这里的互动可以是客户端向服务器发送命令请 求,也可以是服务器向客户端发送命令回复。

lastinteraction属性可以用来计算客户端的空转(idle)时间,也即是,距离客户端与服务器最后一次进行互动以来,已经过去了多少秒, CLIENT list命令的idle域记录了这个秒数

3.客户端的创建的关闭

3.1普通客户端的创建

如果客户端是通过网络连接与服务器进行连接的普通客户端,那么 在客户端使用connect函数连接到服务器时,服务器就会调用连接事件处 理器,为客户端创建相应的客户端状态,并将这个 新的客户端状态添加到服务器状态结构clients链表的末尾

举个例子:假设当前有c1和c2两个普通客户端正在连接服务器,那 么当一个新的普通客户端c3连接到服务器之后,服务器会将c3所对应的 客户端状态添加到clients链表的末尾

 3.2普通客户端的关闭

一个普通客户端可以因为多种原因而被关闭:

如果客户端进程退出或者被杀死,那么客户端与服务器之间的网 络连接将被关闭,从而造成客户端被关闭。

·如果客户端向服务器发送了带有不符合协议格式的命令请求,那么这个客户端也会被服务器关闭。 ·如果客户端成为了CLIENT KILL命令的目标,那么它也会被关 闭。

·如果用户为服务器设置了timeout配置选项,那么当客户端的空转 时间超过timeout选项设置的值时,客户端将被关闭。不过timeout选项有 一些例外情况:如果客户端是主服务器(打开了REDIS_MASTER标 志),从服务器(打开了REDIS_SLAVE标志),正在被BLPOP等命令 阻塞(打开了REDIS_BLOCKED标志),或者正在执行SUBSCRIBE、 PSUBSCRIBE等订阅命令,那么即使客户端的空转时间超过了timeout选 项的值,客户端也不会被服务器关闭。

·如果客户端发送的命令请求的大小超过了输入缓冲区的限制大小 (默认为1 GB),那么这个客户端会被服务器关闭。 ·如果要发送给客户端的命令回复的大小超过了输出缓冲区的限制 大小,那么这个客户端会被服务器关闭。

3.AOF的伪客户端

服务器在载入AOF文件时,会创建用于执行AOF文件包含的Redis 命令的伪客户端,并在载入完成之后,关闭这个伪客户端

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/4282.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

(数字图像处理MATLAB+Python)第二章数字图像处理基础-第三、四节:数字图像的生成和数值描述

文章目录一&#xff1a;数字图像的生成与表示&#xff08;1&#xff09;图像信号的数字化&#xff08;2&#xff09;数字图像类型二&#xff1a;数字图像的数值描述&#xff08;1&#xff09;常用坐标系&#xff08;2&#xff09;数字图像的数据结构&#xff08;3&#xff09;常…

Typora使用

Typora Typora 是一款支持实时预览的 Markdown 文本编辑器。 1. 基础操作 1.1标题 # 一级标题## 二级标题### 三级标题#### 四级标题##### 五级标题###### 六级标题1.2 引用 > 引用内容1 > 引用内容2 >> 引用内容31.3 斜体 *斜体* _斜体_1.4 加粗…

mysql整理

文章目录概述SQLDDLDMLDQL单表查询多表查询DQL的执行顺序DCL管理用户控制权限函数约束事务存储引擎索引概述语法性能分析索引的使用SQL的优化insert优化主键优化Order by优化其它优化存储对象视图存储过程基本操作变量IF条件判断参数循环条件处理程序存储函数触发器锁全局锁表级…

Mysql-缓冲池 buffer pool

缓冲池 buffer pool innodb中的数据是以【页】的形式存储在磁盘上的表空间内&#xff0c;但是【磁盘的速度】和【内存】相比简直不值一提&#xff0c;而【内存的速度】和【cpu的速度】同样不可同日而语&#xff0c;对于数据库而言&#xff0c;I/O成本永远是不可忽略的一项成本…

基于Elman神经网络预测计费系统的输出(Matlab代码实现)

目录 &#x1f4a5;1 概述 &#x1f4da;2 运行结果 &#x1f389;3 参考文献 &#x1f468;‍&#x1f4bb;4 Matlab代码 &#x1f4a5;1 概述 简单循环网络&#xff08;simple recurrent networks&#xff0c;简称SRN&#xff09;又称为Elman network&#xff0c;是由Jeff…

什么是AI文章生成器-AI文章生成器批量生成文章

AI文章生成器有哪些 目前市面上存在一些可以生成文章的 AI 文章生成器&#xff0c;以下是其中几种常见的&#xff1a; OpenAI GPT-3&#xff1a; OpenAI GPT-3 是目前最先进、最著名的 AI 文章生成器之一&#xff0c;它可以生成各种类型的文章&#xff0c;例如新闻报道、科学报…

我的Macbook pro使用体验

刚拿到Mac那一刻&#xff0c;第一眼很惊艳&#xff0c;不经眼前一亮&#xff0c;心想&#xff1a;这是一件艺术品&#xff0c;太好看了吧 而后再体验全新的Macos 系统&#xff0c;身为多年的win用户说实话一时间还是难以接受 1.从未见过的访达&#xff0c;不习惯的右键 2. …

[论文解析] Cones: Concept Neurons in Diffusion Models for Customized Generation

论文连接&#xff1a;https://readpaper.com/pdf-annotate/note?pdfId4731757617890738177&noteId1715361536274443520 源码链接&#xff1a; https://github.com/Johanan528/Cones 文章目录OverviewWhat problem is addressed in the paper?Is it a new problem? If so…

PMP一般要提前多久备考?

PMP很迷&#xff0c;有只备考了一周过的&#xff0c;也有备考几个月过的。保险起见&#xff0c;预留两个月比较靠谱&#xff0c;尤其现在是新考纲&#xff0c;PMP新版大纲加入了 ACP 敏捷管理的内容&#xff0c;而且还不少&#xff0c;敏捷混合题型占到了 50%&#xff0c;前不久…

AcWing3662. 最大上升子序列和(线性DP + 树状数组优化 + 离散化处理)

AcWing3662. 最大上升子序列和&#xff08;线性DP 树状数组优化 离散化处理&#xff09;一、问题二、分析1、DP过程&#xff08;1&#xff09;状态表示&#xff08;2&#xff09;状态转移2、数据结构优化&#xff08;1&#xff09;树状数组维护最值&#xff08;2&#xff09;…

K8s 弃用 Docker!一文介绍 containerd ctr、crictl 使用

containerd 是一个高级容器运行时&#xff0c;又名 容器管理器。简单来说&#xff0c;它是一个守护进程&#xff0c;在单个主机上管理完整的容器生命周期&#xff1a;创建、启动、停止容器、拉取和存储镜像、配置挂载、网络等。 containerd 旨在轻松嵌入到更大的系统中。Docke…

【ASPLOS 2023】图神经网络统一图算子抽象uGrapher,大幅提高计算性能

作者&#xff1a;周杨杰、沈雯婷 开篇 近日&#xff0c;阿里云机器学习平台PAI和上海交通大学冷静文老师团队合作的论文《图神经网络统一图算子抽象uGrapher》被ASPLOS 2023录取。 为了解决当前图神经网络中框架中不同的图算子在不同图数据上静态kernel的性能问题&#xff0…

【前沿技术】文心一言 PK Chat Gpt

目录 写在前面 一、文心一言 二、Chat GPT 三、对比 四、总结 写在前面 随着人工智能技术的不断发展和普及&#xff0c;越来越多的智能应用走入了人们的日常生活&#xff0c;如智能语音助手、智能客服、机器翻译等等。在这些应用中&#xff0c;自然语言生成&#xff08;…

看完不再愁 | 图解TCP 重传、滑动窗口、流量控制、拥塞控制

目录 前言 正文 &#x1f332; 重传机制 1. 超时重传 2. 快速重传 3. SACK 方法 4. Duplicate SACK &#x1f332; 滑动窗口 &#x1f333; 流量控制 &#x1f333; 拥塞控制 1. 慢启动 2. 拥塞避免算法 3. 拥塞发生 4. 快速恢复 前言 前面我们讲到「硬不硬你说…

Android开发一直在用大公司的开源库,可参考~

一、阿里巴巴 &#xff08;一&#xff09;UI有关 1. 多页面切换场景统一解决方案 UltraViewPager UltraViewPager 是阿里开源的一个封装多种特性的 ViewPager &#xff0c;主要是为多页面切换场景提供统一解决方案。 主要功能: 1. 支持横向滑动&#xff0f;纵向滑动2. 支持一屏…

求红白黑球的个数-课后程序(JavaScript前端开发案例教程-黑马程序员编著-第2章-课后作业)

【案例2-11】求红白黑球的个数 一、案例描述 考核知识点 for循环语句、if判断语句 练习目标 掌握for循环应用。掌握if判断语句应用 需求分析 用js编程 已知&#xff1a;红白球共25个&#xff0c;白黑球共31个&#xff0c;红黑球共28个&#xff0c;求三种球各有多少&#xff…

基于STM32 SG90 9g舵机控制

文章目录一、什么是舵机&#xff1f;二、工作原理三、利用PWM控制四、stm32舵机控制一、什么是舵机&#xff1f; 产品参数 名称&#xff1a;9克舵机180度 尺寸&#xff1a;23mm X 12.2mm X 29mm 重量&#xff1a;9克 扭矩&#xff1a;1.5kg/cm 工作电压&#xff1a;4.2 - 6V 温…

Java大数字运算(BigInteger类和BigDecimal类)

在 Java 中提供了用于大数字运算的类&#xff0c;即 java.math.BigInteger 类和 java.math.BigDecimal 类。这两个类用于高精度计算&#xff0c;其中 BigInteger 类是针对整型大数字的处理类&#xff0c;而 BigDecimal 类是针对大小数的处理类。 BigInteger 类 如果要存储比 …

一本通 3.3.1 树与二叉树

树与二叉树的基本知识 1336&#xff1a;【例3-1】找树根和孩子 【题目描述】 给定一棵树&#xff0c;输出树的根root&#xff0c;孩子最多的结点max以及他的孩子。 【题目分析】 【代码实现】 #include<bits/stdc.h> using namespace std; int father[201], sum[101]…

8.OSP的GR(Graceful Restart,平滑重启)实验

一、GR(Graceful Restart,平滑重启) 技术介绍 GR(Graceful Restart,平滑重启)技术保证了设备在重启过程中转发层面能够继续指导数据的转发,同时控制层面邻居关系的重建以及路由计算等动作不会影响转发层面的功能,从而避免了路由振荡引发的业务中断,保证了关键业务的数…