【数据库】数据库中的检查点Checkpoint,数据落盘的重要时刻

检查点(checkpoint)

专栏内容

  • 手写数据库toadb
    本专栏主要介绍如何从零开发,开发的步骤,以及开发过程中的涉及的原理,遇到的问题等,让大家能跟上并且可以一起开发,让每个需要的人成为参与者。
    本专栏会定期更新,对应的代码也会定期更新,每个阶段的代码会打上tag,方便阶段学习。

开源贡献

  • toadb开源库

个人主页:我的主页
管理社区:开源数据库
座右铭:天行健,君子以自强不息;地势坤,君子以厚德载物.

文章目录

  • 检查点(checkpoint)
  • 前言
  • 概述
  • 问题
  • 解决方法
  • 静态检查点
  • 非静态检查点
  • 总结
  • 结尾

在这里插入图片描述

前言

随着信息技术的飞速发展,数据已经渗透到各个领域,成为现代社会最重要的资产之一。在这个大数据时代,数据库理论在数据管理、存储和处理中发挥着至关重要的作用。然而,很多读者可能对数据库理论感到困惑,不知道如何选择合适的数据库,如何设计有效的数据库结构,以及如何处理和管理大量的数据。因此,本专栏旨在为读者提供一套全面、深入的数据库理论指南,帮助他们更好地理解和应用数据库技术。

数据库理论是研究如何有效地管理、存储和检索数据的学科。在现代信息化社会中,数据量呈指数级增长,如何高效地处理和管理这些数据成为一个重要的问题。同时,随着云计算、物联网、大数据等新兴技术的不断发展,数据库理论的重要性日益凸显。

因此,本专栏的分享希望可以提高大家对数据库理论的认识和理解,对于感兴趣的朋友带来帮助。

概述

本文将通过一个问题,来分享什么是检查点,检查点可以带来那些好处。

问题

在本专栏的前一篇数据日志中,介绍了当系统故障时,缓冲区的脏数据就会丢失,可以通过redo、undo日志进行恢复,使数据达到一致性和完整性。

那么问题就来了:
redo和undo日志从数据库创建时,就开始记录这些日志,数据库一般都会运行很长时间,甚至数年,如果这么多日志,有可能都比数据本身还要大,在更新频繁的数据库上,日志很容易撑爆磁盘,那么如何解决这一问题呢?

解决方法

很长时间以前的日志,有些事务已经提交,而且数据已经都落盘了,其实这些日志已经没有用了,即使发生系统故障,这些日志对应的数据也不需要再恢复了,因为它们对应的数据已经持久化了。

所以我们需要找到一个时间点,在这个时间点前发生的脏页和所有日志都需要落盘,在这个时间点之后的可以不强制落盘,那么在这时间点以前的日志就可以清理掉了。

这个时间点就叫做检查点,也就是增加了一个分隔点,减少日志保存的周期和恢复的范围。

这个检查点如何来做呢? 有下面两种方式。

静态检查点

在做检查点的时候,需要保证当前的日志和脏页都要落盘,为了保证检查点落盘的过程中,不会再产生脏页和日志,需要在执行检查点动作时,数据库不能提供服务,做完检查点之后继续提供服务。

这样检查点时,对当前所有脏页和日志落盘即可,比较简单。

但是检查点在数据库业务繁忙时,也是一个相当频繁的动作,总不能频繁的中断业务吧,这还能不能行?

非静态检查点

哎,经过发展,现代数据库可以在业务运行时做检查点了,它的流程是这样的:

  • 开始检查点
  • 记录当前数据库的快照
  • 开始将比快照旧的脏页和日志落盘
  • 检查点结束

这里多了一步快照的记录,然后落盘时增加了与快照的比较,这样就保证了检查点前的都已经落盘。
当然原理这样,不同数据库的实现各不相同,比如postgresql,通过日志的lsn来记录快照,比此lsn旧的都需要落盘;

总结

检查点机制强制脏页定期落盘,缩小了日志保存的周期,同时也减少了恢复的周期。当然这个周期,需要根据业务产生日志的速率来配置,在性能和磁盘空间之间均衡,避够刷盘太快。

有菜也有肉的分享,下面插一段hello world的代码;
以下是一个简单的启动程序示例,可以在加电后从指定的加载地址开始执行,并输出 “Hello”:

ORG 0x7c00    ;指定加载地址为0x7c00

start:
    mov ax, cs   ;将cs寄存器的值加载到ax寄存器中
    mov ds, ax   ;将ds寄存器的值设置为cs寄存器的值

    mov si, msg  ;将消息的地址存储在si寄存器中
    call print   ;调用print函数打印消息

    jmp end     ;跳转到程序结束处

print:
    lodsb         ;将si指向的字符串中的下一个字符加载到al寄存器中
    or al, al   ;判断al寄存器中的值是否为0
    jz end      ;如果是0,跳转到程序结束处
    mov ah, 0x0e ;将0x0e存储在ah寄存器中,表示在屏幕上打印字符
    int 0x10     ;调用BIOS中断,将字符打印到屏幕上
    jmp print   ;继续打印下一个字符

end:
    jmp $         ;无限循环,程序结束处

msg db 'Hello', 0 ;消息以0结尾

该程序使用汇编语言编写,可以在Bochs、QEMU等模拟器上运行。程序加载后,将从地址0x7c00开始执行,输出 “Hello” 字符串,并进入无限循环。

结尾

非常感谢大家的支持,在浏览的同时别忘了留下您宝贵的评论,如果觉得值得鼓励,请点赞,收藏,我会更加努力!

作者邮箱:study@senllang.onaliyun.com
如有错误或者疏漏欢迎指出,互相学习。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/177193.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

PostMan接口测试教程

1、下载和安装 Postman: 前往 Postman 官网 (https://www.postman.com),下载适用于你的操作系统的 Postman 客户端。 执行下载后的安装程序,并按照安装向导的指引完成安装过程。 2、创建一个新的集合: 打开 Postma…

LangChain库简介

❤️觉得内容不错的话,欢迎点赞收藏加关注😊😊😊,后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论(包括但不限于NLP算法相关,linux学习相关,读研读博…

那仰望的人

心底的孤独和叹息

PC访问华为昇腾开发板的摸索过程

作者:朱金灿 来源:clever101的专栏 为什么大多数人学不会人工智能编程?>>> 最近要折腾华为昇腾开发板(官方名称叫:Atlas 200I DK)。先是按照官方教程折腾:Atlas200DK环境部署。我发现…

数组扩展方法(一)

Array.prototype.forEach MDN解释forEach()方法是对数组的每个元素执行一个给定的函数,换句话来说就是在调用forEach()方法的时候,需要传入一个回调函数callback,循环每个数组内部元素时都会执行一次传入的回调函数callback forEach()方法的…

Python通过selenium调用IE11浏览器报错解决方法

前提 正常安装Python 工具,selenium 包可以正常导入。IE浏览器驱动 IEDriverServer.exe 已经正确放置到已经添加path目录的文件下。 报错现象: 解决方法 打开浏览器进入 internet 选项 切换到安全页签 ,去除“应用保护模式” 再次调用验证…

苍穹外卖项目笔记(4)——菜品管理

菜品管理 主要功能模块:新建菜品、修改菜品、启用禁用菜品、菜品的分页查询、删除菜品 代码:GitHub - Echo0701/take-out 1 公共字段自动填充 公共字段指的是业务表中有一些相同的字段,比如创建人、创建时间、修改人、修改时间等&#xff…

QT搭建的Ros/librviz的GUI软件

1.前言 开发初期学习了下面博主的文章,也报了他在古月局的课,相当于感谢吧。 ROS Qt5 librviz人机交互界面开发一(配置QT环境)-CSDN博客​​​​​​​r 软件前期也是参考他的开源项目 GitHub - chengyangkj/Ros_Qt5_Gui_App …

如何实现数据通过表格批量导入数据库

文章目录 1. 准备工作2. 创建数据库表3. 编写导入脚本4. 优化和拓展4.1 批量插入的优势4.2 错误处理4.3 数据验证4.4 数据转换 5. 总结 🎉如何实现数据通过表格批量导入数据库 ☆* o(≧▽≦)o *☆嗨~我是IT陈寒🍹✨博客主页:IT陈寒的博客&…

常见的8个JMeter压测问题

为什么在JMeter中执行压力测试时,出现连接异常或连接重置错误? 答案:连接异常或连接重置错误通常是由于服务器在处理请求时出现问题引起的。这可能是由于服务器过载、网络故障或配置错误等原因导致的。 解决方法: 确定服务器的…

OSG文字-osgText3D(5)

osgText3D 三维立体文字比二维平面文字显示效果更好,相对二维平面文字,它有非常好的立体显示效果。 在实际虚拟现实项目中,过多使用三维立体文字会降低染效率,加重渲染负担,相对平面二维文字,它占用的内存是…

Linux C IO复用

IO复用 概述IO模型阻塞式IO非阻塞式IOIO复用select、poll、epoll异同 信号驱动式IO异步IO select函数select示例代码 poll函数poll示例代码 epoll函数创建  epoll_create注册、修改、删除  epoll_ctl轮询 I/O 事件的发生  epoll_waitepoll示例代码 基于TCP和epoll在线多人…

APP自动化之Poco框架

今天给大家介绍一款自动化测试框架Poco,其脚本写法非常简洁、高效,其元素定位器效率更快,其本质基于python的第三方库,调试起来也会非常方便,能够很好的提升自动化测试效率,节省时间。 (一)背景…

DDD神药:去哪儿结合DDD,实现架构大调优

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中,最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格,遇到很多很重要的面试题: 谈谈你的DDD落地经验? 谈谈你对DDD的理解&#x…

浅谈低压绝缘监测及定位系统在海上石油平台的研究与应用

安科瑞 华楠 摘要:海上石油平台低压系统与陆地电力系统有很大区别,其属于中性点绝缘系统,在出现单相接地故障时,系统允许带故障正常运行2 h,保证海上重要电气设备不会立即关停。现以渤海某海上平台为例,其…

Leetcode—13.罗马数字转整数【简单】

2023每日刷题(三十七) Leetcode—13.罗马数字转整数 算法思想 当前位置的元素比下个位置的元素小,就减去当前值,否则加上当前值 实现代码 int getValue(char c) {switch(c) {case I:return 1;case V:return 5;case X:return 1…

赞!优雅的Python多环境管理神器!易上手易操作!

前言 Python 的不同版本之间常常存在依赖关系和兼容性问题,为了方便开发人员在 不同项目中使用不同的版本 。 如果大家使用过Python版本管理工具,肯定大多数人使用的都是Anaconda,它是一个优秀的数据科学开发环境,本身也提供了丰…

Python安装入门

目录 1 从应用商店安装2 通过官方安装3 验证安装是否成功4 打印hello world总结 1 从应用商店安装 推荐使用微软的应用商店安装,打开开始菜单 在应用商店搜索python 选择最新的版本下载并安装即可 2 通过官方安装 也可以使用官网的安装包,输入如下网…

【数据结构初阶】栈和队列

栈和队列 1.栈1.1栈的概念和结构1.2栈的实现 2.队列2.1队列的概念和结构2.2队列的实现 1.栈 1.1栈的概念和结构 栈:一种特殊的线性表,其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶,另一端称为栈底。…

逻辑漏洞(业务逻辑)dami CMS

逻辑漏洞(业务支付逻辑漏洞)dami CMS 0x01 业务逻辑简介 业务逻辑指的是一个系统或应用程序中的实际业务规则和流程。它描述了如何处理特定的业务需求、数据和操作。业务逻辑通常是根据特定行业或组织的需求而设计的。 在软件开发中,业务逻…