聊聊Redis持久化策略RDB

写在文章开头

为避免服务器宕机着情况导致redis内存数据库数据丢失，redis默认出通过rdb保证可靠性，本文将从源码的角度带读者了解rdb读写时机和写入流程。

在这里插入图片描述

Hi，我是 sharkChili ，是个不断在硬核技术上作死的 java coder ，是 CSDN的博客专家 ，也是开源项目 Java Guide 的维护者之一，熟悉 Java 也会一点 Go ，偶尔也会在 C源码 边缘徘徊。写过很多有意思的技术博客，也还在研究并输出技术的路上，希望我的文章对你有帮助，非常欢迎你关注我的公众号： 写代码的SharkChili 。

因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述

详解RDB持久化

save指令触发rdb

redis支持通过命令的方式持久化内存数据库数据，当我们键入save的时候，redis解析到这个指令之后，主线程直接调用saveCommand方法生成rdb文件落到磁盘中。

在这里插入图片描述

我们可以在rdb.c文件中看到该方法的实现，可以看到为了避免脏写等问题，saveCommand会检查当前是否有rdb子进程执行，如果没有在子进程执行rdb持久化则直接调用rdbSave方法生成dump.rdb文件落盘：

//调用save指令其内部调用rdbSave完成rdb文件生成
void saveCommand(redisClient *c) {
	//检查是否子进程执行rdb，若有则直接返回
    if (server.rdb_child_pid != -1) {
        addReplyError(c,"Background save already in progress");
        return;
    }
    //调用rdbSave
    if (rdbSave(server.rdb_filename) == REDIS_OK) {
        addReply(c,shared.ok);
    } else {
        addReply(c,shared.err);
    }
}

步入rdbSave即可看到生成临时rdb写入数据，然后数据刷盘，最后完成文件名原子修改的操作：

int rdbSave(char *filename) {
    char tmpfile[256];
    FILE *fp;
    rio rdb;
    int error;
	//生成一个tmp文件
    snprintf(tmpfile,256,"temp-%d.rdb", (int) getpid());
    fp = fopen(tmpfile,"w");
    if (!fp) {
        redisLog(REDIS_WARNING, "Failed opening .rdb for saving: %s",
            strerror(errno));
        return REDIS_ERR;
    }
	//调用rdbSaveRio完成数据写入
    rioInitWithFile(&rdb,fp);
    if (rdbSaveRio(&rdb,&error) == REDIS_ERR) {
        errno = error;
        goto werr;
    }
	//直接刷盘到磁盘，避免留在系统输出缓冲区
    /* Make sure data will not remain on the OS's output buffers */
    if (fflush(fp) == EOF) goto werr;
    if (fsync(fileno(fp)) == -1) goto werr;
    if (fclose(fp) == EOF) goto werr;

    //完成写入后文件重命名为dump.rdb
    if (rename(tmpfile,filename) == -1) {
        redisLog(REDIS_WARNING,"Error moving temp DB file on the final destination: %s", strerror(errno));
        unlink(tmpfile);
        return REDIS_ERR;
    }
   	//......
   	
    return REDIS_OK;

	//......
}

bgsave指令触发rdb

同时redis也支持后台持久化，如果用户需要考虑redis性能问题，可以直接通过bgsave指令创建rdb子进程完成数据库数据持久化。

在这里插入图片描述

我们同样可以在rdb.c文件中看到bgsave指令调用的方法bgsaveCommand，可以看到如果没有子进程进行rdb或者aof，该指令会调用rdbSaveBackground完成异步数据持久化：

//调用rdbSaveBackground创建一个子进程生成rdb文件，不影响主线程
void bgsaveCommand(redisClient *c) {
	//如果有子进程执行rdb或者aof，则直接返回错误提醒
    if (server.rdb_child_pid != -1) {
        addReplyError(c,"Background save already in progress");
    } else if (server.aof_child_pid != -1) {
        addReplyError(c,"Can't BGSAVE while AOF log rewriting is in progress");
    } else if (rdbSaveBackground(server.rdb_filename) == REDIS_OK) {//调用rdbSaveBackground进行数据持久化
        addReplyStatus(c,"Background saving started");
    } else {
        addReply(c,shared.err);
    }
}

步入rdbSaveBackground可以看到，其内部还会检查一次是否有文件进行rdb，如果明确没有之后直接fork一个子进程出来调用上文所说的rdbSave完成数据持久化到dump.rdb中：

int rdbSaveBackground(char *filename) {
    pid_t childpid;
    long long start;

    if (server.rdb_child_pid != -1) return REDIS_ERR;

     //......

    start = ustime();
    if ((childpid = fork()) == 0) {//创建子进程
        int retval;

        /* Child */
        closeListeningSockets(0);
        redisSetProcTitle("redis-rdb-bgsave");
        retval = rdbSave(filename);//生成rdb文件
        if (retval == REDIS_OK) {
           

            //......
        }
        exitFromChild((retval == REDIS_OK) ? 0 : 1);//退出子进程
    } else {
       //......
    }
    return REDIS_OK; /* unreached */
}

RDB被动触发

redis被动触发由时间事件轮询处理，我们可以在redis.conf配置rdb被动触发持久化的时机，默认配置如下当60s生成10000或者300 生成10次改变亦或者900s生成1s，我们就会执行一次被动rdb持久化：

save 900 1
save 300 10
save 60 10000

在这里插入图片描述

对应的我们可以在redis.c的serverCron函数在看到这段逻辑，它会遍历出我们配置的保存间隔配置saveparam，通过比对这3条配置的上次保存时间计算出时间间隔，以及当前redis变化书dirty看看是否符合要求，若如何要求则进行后台rdb持久化：

int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
  	//......

    /* Check if a background saving or AOF rewrite in progress terminated. */
    if (server.rdb_child_pid != -1 || server.aof_child_pid != -1) {
       	//......
        }
    } else {
       	//遍历3个配置的params，如果改变数和事件间隔配置要求则直接进行后台被动rdb持久化
         for (j = 0; j < server.saveparamslen; j++) {
            struct saveparam *sp = server.saveparams+j;

            
            if (server.dirty >= sp->changes && //查看变化数是否大于当前配置的changes
                server.unixtime-server.lastsave > sp->seconds && //查看时间间隔是否大于配置
                (server.unixtime-server.lastbgsave_try >
                 REDIS_BGSAVE_RETRY_DELAY ||
                 server.lastbgsave_status == REDIS_OK))
            {
              //......
              //执行异步持久化
                rdbSaveBackground(server.rdb_filename);
                break;
            }
         }

        	//......
         }
    }


 	//......
 
    return 1000/server.hz;
}

其他被动落盘时机

其实有些时候我们执行的某些执行也会进行rdb持久化，例如flushall刷盘指令,其调用函数flushallCommand就会时间串行执行rdb持久化：

//调用flush指令时会调用rdbSave进行数据持久化
void flushallCommand(redisClient *c) {
  	//......
    if (server.saveparamslen > 0) {
       	//串行执行rdb持久化
        int saved_dirty = server.dirty;
        rdbSave(server.rdb_filename);
      	//......
    }
    server.dirty++;
}

当我们关闭redis服务器的时候也会执行rdb串行持久化：

//服务器进程关闭时调用rdbSave生成rdb文件
int prepareForShutdown(int flags) {
      //......
    if (server.rdb_child_pid != -1) {
        //......
    }
    if (server.aof_state != REDIS_AOF_OFF) {
       //......
    }
    if ((server.saveparamslen > 0 && !nosave) || save) {
      
        if (rdbSave(server.rdb_filename) != REDIS_OK) {
             //......
            return REDIS_ERR;
        }
    }
      //......
    return REDIS_OK;
}

rdb写入文件数据详解

无论是rdbsave还是rdbbgsave对应的方法，其内部都会调用rdbSaveRio，它进行文件写入时对应写入数据大体顺序是:

  1. 写入REDIS大写。
  2. 补0填充长度。
  3. 写入当前redis版本号，以笔者源码为例则是6。
  4. 遍历数据库写入REDIS_RDB_OPCODE_SELECTDB表示开始存储数据库数据，这个值默认为254，redis会转为八进制376写入。
  5. 遍历当前数据库键值对key长度和key，value长度和value写入，后续数据库都是如此往复。
  6. 所有数据库写完后补REDIS_RDB_OPCODE_EOF和checksum用于后续rdb数据恢复的校验。

为保证读者更直观的了解redis持久化写入的内容，我们可以删除本地rdb文件，然后执行如下执行生成一个全新的rdb文件：

# 保存键值对
set key value
# 切换到1库
select 1
# 保存键值对到1库
set key-1 value
# 调用save进行数据持久化
save

正常情况下我们打开rdb文件会得到一堆类型乱码的内容，我们无法知晓写入的信息，我们可以直接键入od生成rdb文件16进制数据及其对应的ASCII字符：

od -A x -t x1c -v dump.rdb

最终我们就可以得到如下文件，可以看到数据格式和笔者上文所说基本一致：

#        大写REDIS          补0            254的8进制 当前数据库索引   键值对`key`长度和`key`，`value`长度和`value`      
#000000  52  45  44  49  53  30  30  30  36  fe  00  00  03  6b  65  79
         R   E   D   I   S   0   0   0   6 376  \0  \0 003   k   e   y
000010  05  76  61  6c  75  65  fe  01  00  05  6b  65  79  2d  31  05
       005   v   a   l   u   e 
#  254的8进制 当前数据库索引1  键值对key长度和key，value长度和value    
376 001  \0 005   k   e   y   -   1 005
000020  76  61  6c  75  65  ff  76  eb  e4  80  bd  df  66  11
         v   a   l   u   e 
# EOF 255八进制 剩下8位是对应的checksum
377   v 353 344 200 275 337   f 021
00002e

对应的我们给出这段源码，对应的写入流程如上文笔者所述：

int rdbSaveRio(rio *rdb, int *error) {
    dictIterator *di = NULL;
    dictEntry *de;
    char magic[10];
    int j;
    long long now = mstime();
    uint64_t cksum;

    if (server.rdb_checksum)
        rdb->update_cksum = rioGenericUpdateChecksum;
    snprintf(magic,sizeof(magic),"REDIS%04d",REDIS_RDB_VERSION);//对应redis 3个0 然后版本号，当前版本为6
    if (rdbWriteRaw(rdb,magic,9) == -1) goto werr;//上述魔数写入rdb文件
		//遍历数据库
    for (j = 0; j < server.dbnum; j++) {
        redisDb *db = server.db+j;
        dict *d = db->dict;
        if (dictSize(d) == 0) continue;
        di = dictGetSafeIterator(d);
        if (!di) return REDIS_ERR;

        /* Write the SELECT DB opcode */
        if (rdbSaveType(rdb,REDIS_RDB_OPCODE_SELECTDB) == -1) goto werr;//写入254，也就是内容中的376
        if (rdbSaveLen(rdb,j) == -1) goto werr;//写入当前库索引

       	//遍历当前键值对写入
        while((de = dictNext(di)) != NULL) {
            sds keystr = dictGetKey(de);
            robj key, *o = dictGetVal(de);
            long long expire;

            initStaticStringObject(key,keystr);
            expire = getExpire(db,&key);
            if (rdbSaveKeyValuePair(rdb,&key,o,expire,now) == -1) goto werr;//写入键值对
        }
        dictReleaseIterator(di);
    }
  //......

    /* EOF opcode */
    if (rdbSaveType(rdb,REDIS_RDB_OPCODE_EOF) == -1) goto werr;//写入结束符254 八进制为377

 
    cksum = rdb->cksum;
    memrev64ifbe(&cksum);
    if (rioWrite(rdb,&cksum,8) == 0) goto werr;//写入8位数校验和,其底层调用rioGenericUpdateChecksum，按照cksum到数组中获取就对应的值并
    return REDIS_OK;

//......
}

对应的我们步入rdbSaveKeyValuePair即可看到redis获取key长度和key，以及value长度和value并写入rdb文件的核心流程:

int rdbSaveKeyValuePair(rio *rdb, robj *key, robj *val,
                        long long expiretime, long long now)
{
   	//......

    /* Save type, key, value */
    if (rdbSaveObjectType(rdb,val) == -1) return -1;//写入类型以字符串形式就是0
    if (rdbSaveStringObject(rdb,key) == -1) return -1;//写入key长度和key
    if (rdbSaveObject(rdb,val) == -1) return -1;//写入value长度和value
    return 1;
}

小结

自此我们将redis持久化策略rdb都分析完成了，希望对你有帮助。

我是 sharkchili ，CSDN Java 领域博客专家，开源项目—JavaGuide contributor，我想写一些有意思的东西，希望对你有帮助，如果你想实时收到我写的硬核的文章也欢迎你关注我的公众号： 写代码的SharkChili 。
因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/767337.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【D3.js in Action 3 精译】1.1.3 D3.js 的工作原理

【D3.js in Action 3 精译】1.1.3 D3.js 的工作原理

译者注 上一节我们探讨了 D3.js 的适用场景——需要高度定制化、可以尽情释放想象力的复杂图表。这一节我们再跟随作者的视角&#xff0c;看看 D3.js 的工作原理究竟是怎样的。 1.1.3 D3.js 的工作原理 您可能已经体验过 D3 并且发现它不太容易上手。这也许是因为您把它当成了…
阅读更多...
c++边界处理机制

c++边界处理机制

1.vector std::vector&#xff1a;std::vector 是动态数组&#xff0c;它会在运行时动态地调整存储空间大小&#xff0c;因此当访问超出边界时&#xff0c;会触发运行时异常 std::out_of_range。可以通过try-catch块来捕获这种异常来处理越界访问。 #include <iostream>…
阅读更多...
Mybatis数据封装

Mybatis数据封装

目录 解决方案&#xff1a; 1.起别名&#xff1a; 2.手动结果映射&#xff1a; 3.开启驼峰命名(推荐)&#xff1a; 我们看到查询返回的结果中大部分字段是有值的&#xff0c;但是deptId&#xff0c;createTime&#xff0c;updateTime这几个字段是没有值的&#xff0c;而数据…
阅读更多...
项目管理系统厂商：奥博思发布《项目管理系统助力 IPD 高效落地》演讲

项目管理系统厂商：奥博思发布《项目管理系统助力 IPD 高效落地》演讲

一场题为&#xff1a;“标准为基&#xff0c;项目之上 &#xff0c;持续提升 PMO 卓越中心”的全国 PMO 专业人士年度盛会在京召开。会议围绕 PMO 卓越中心能力提升、项目管理标准化、项目管理体系建设等核心话题力邀业界专家、卓有建树的 PMO 实践精英来演讲、交流、分享。 奥…
阅读更多...
无人机在航拍领域有哪些独特优势？

无人机在航拍领域有哪些独特优势？

那肯定是便宜啊&#xff0c;相比传统的飞机或直升机航拍作业&#xff0c;无人机航拍具有更快的响应速度和更低的成本。无人机可以随时随地进行起降&#xff0c;并在短时间内完成航拍任务&#xff0c;极大地提高了作业效率。同时&#xff0c;无人机的运营成本相对较低&#xff0…
阅读更多...
C语言快速学习笔记

C语言快速学习笔记

学习网站&#xff1a;C 语言教程 | 菜鸟教程 (runoob.com)C 语言教程 | 菜鸟教程 (runoob.com)C 语言教程 | 菜鸟教程 (runoob.com) 这个网站知识完整&#xff0c;讲解清晰。 在线C语言编程工具&#xff1a;菜鸟教程在线编辑器 (runoob.com) 国外学习网站&#xff1a;C语言介…
阅读更多...
nanodiffusion代码逐行理解之time embedding

nanodiffusion代码逐行理解之time embedding

目录 一、time embedding调用过程二、time embedding定义过程三、PositionalEmbedding定义过程 time embedding本质上就是把时间步t转换为指定维度的嵌入向量&#xff0c;这个向量由时间步 &#xff0c;向量维度&#xff0c;周期等参数决定&#xff0c;可以简单理解为根据时间步…
阅读更多...
说说硬件调试中发现的那些低级错误

说说硬件调试中发现的那些低级错误

高速先生成员--周伟 最近遇到很多debug相关的咨询&#xff0c;曾经我们说过&#xff0c;我们做过的板子越多&#xff0c;遇到问题的概率也越多&#xff0c;很多别人没遇到过的问题&#xff0c;说不定我们早就触过雷&#xff0c;从而类似的问题形成经验总结&#xff0c;就不会再…
阅读更多...
Python知识点背诵手册，超详细知识梳理

Python知识点背诵手册，超详细知识梳理

一、手册介绍 《Python知识点背诵手册》是一份详尽的Python学习资料&#xff0c;旨在帮助学习者系统地掌握Python语言的基础知识和进阶技能。该手册将Python的所有关键语法和概念进行了精炼的总结&#xff0c;并以易于理解和记忆的方式呈现。以下是手册的主要特点和内容概述&a…
阅读更多...
石墨烯分散液制备方法众多 应用领域广泛

石墨烯分散液制备方法众多 应用领域广泛

石墨烯分散液制备方法众多 应用领域广泛 石墨烯分散液指将石墨烯纳米片均匀分散在特定溶剂中制成的溶液。石墨烯分散液具有化学稳定性好、生物相容性好、热稳定性好等优势&#xff0c;未来有望在涂料、纤维制品、电池制造、油墨等领域获得广泛应用。 石墨烯分散液以石墨…
阅读更多...
AWS云创建EC2与所需要注意事项

AWS云创建EC2与所需要注意事项

AWS云&#xff08;Amazon Web Services&#xff09;作为全球领先的云计算服务提供商&#xff0c;为用户提供了丰富的云计算服务。其中&#xff0c;EC2&#xff08;Elastic Compute Cloud&#xff09;是AWS云中的一项重要服务&#xff0c;可以帮助用户轻松创建和管理虚拟服务器实…
阅读更多...
从0开始搭建vue项目

从0开始搭建vue项目

#先查下电脑有没有安装过node和npm node -v npm -v #安装vue npm install -g vue #安装webpack npm install webpack -g 都安装好后&#xff0c;进入你想创建的文件夹内 创建名字&#xff1a;vue init webpack <project_name> 就默认回车 然后根据项目需求Y/n 比如…
阅读更多...
提升学历的最佳选择：深职训学校的成人大专远程教育

提升学历的最佳选择：深职训学校的成人大专远程教育

你有没有想过&#xff0c;一边工作一边提升自己的学历&#xff1f;很多人都觉得这是一件不可能完成的任务&#xff0c;但今天我要告诉你&#xff0c;其实有一个不错的选择&#xff0c;那就是深职训学校的成人大专远程教育。 深圳提升学历www.shenzhixun.com 为什么要选择成人大…
阅读更多...
难道 Java 已经过时了？

难道 Java 已经过时了？

当一门技术已经存在许多年了&#xff0c;它可能会失去竞争力&#xff0c;而后黯然退场&#xff0c;默默地离开&#xff0c;这对大部分的人来说就已经算是过时了。 Java 于 1995 年正式上线&#xff0c;至今已经走过了 27 个年头&#xff0c;在众多编程技术里算是年龄比较大的语…
阅读更多...
开箱机视觉系统大揭秘：如何轻松辨别千差万别的包装?

开箱机视觉系统大揭秘：如何轻松辨别千差万别的包装?

在现代物流仓储领域&#xff0c;开箱机作为提升作业效率的关键设备&#xff0c;正日益受到行业的重视。而开箱机的视觉系统更是其十分强大&#xff0c;能够准确辨认不同包装&#xff0c;确保物流作业的高效与准确。与星派深入探究一下开箱机视觉系统是如何工作的&#xff0c;以…
阅读更多...
2007-2023年36家商业银行绿色信贷、期末贷款总额、银行总资产等相关指标数据（2023年无缺失）

2007-2023年36家商业银行绿色信贷、期末贷款总额、银行总资产等相关指标数据（2023年无缺失）

2007-2023年36家商业银行绿色信贷数据&#xff08;2023年无缺失&#xff09; 1.时间&#xff1a;2007-2023年&#xff0c;2023年无缺失 2.来源&#xff1a;银行年报和社会责任报告 3.指标:绿色信贷余额、期末贷款总额、绿色信贷比率、总资产收益率、流动性比率、拨备覆盖率、…
阅读更多...
烧烤店外卖小程序开展的用途有什么

烧烤店外卖小程序开展的用途有什么

同城餐饮业里烧烤绝对是年轻人的最爱&#xff0c;各式各样的餐品种类垂涎欲滴、让人忍不住多次消费&#xff0c;当然同行门店数量也非常多&#xff0c;在长期发展中&#xff0c;构建自己的私域平台运营和赋能客户直接消费的路径也不可少。 到店和外卖是主要生意开展形式&#…
阅读更多...
2.2.3 C#中显示控件BDPictureBox 的实现----控件实现

2.2.3 C#中显示控件BDPictureBox 的实现----控件实现

2.2.3 C#中显示控件BDPictureBox 的实现----控件实现 1 界面控件布局 2图片内存Mat类说明 原始图片&#xff1a;m_raw_mat ,Display_Mat()调用时更新或者InitDisplay_Mat时更新局部放大显示图片&#xff1a;m_extract_zoom_mat&#xff0c;更新scale和scroll信息后更新overla…
阅读更多...
猫头虎分享[可灵AI」官方推荐的驯服指南-V1.0

猫头虎分享[可灵AI」官方推荐的驯服指南-V1.0

猫头虎分享[可灵AI」官方推荐的驯服指南-V1.0 猫头虎是谁&#xff1f; 大家好&#xff0c;我是 猫头虎&#xff0c;别名猫头虎博主&#xff0c;擅长的技术领域包括云原生、前端、后端、运维和AI。我的博客主要分享技术教程、bug解决思路、开发工具教程、前沿科技资讯、产品评…
阅读更多...
公路道路救援师傅入驻派单小程序开发

公路道路救援师傅入驻派单小程序开发

道路救援入驻与派单系统小程序开发——面向专业市场的解决方案。 在构建道路救援服务的数字化生态系统中&#xff0c;一款高效、用户友好的入驻与派单小程序显得尤为重要。该小程序旨在无缝连接救援服务师傅和需要道路救援的用户&#xff0c;通过一系列精心设计的功能模块&…
阅读更多...
最新文章

Copyright @ 2022~2023