DBS note4:Buffer Management

目录

1、介绍

2、缓冲池

3、处理页面请求

4、LRU替换和时钟策略

1)顺序扫描性能 - LRU

5、最近最常使用替换策略(MRU Replacement)

1)Sequential Scanning Performance - MRU

6、练习题

1)判断真假

2)LRU、MRU、Clock相关问题


1、介绍

我们前面简略讨论了 DBMS 的最低级别如何管理磁盘空间,以及基于页面的数据库系统中如何管理文件和索引。现在,我们将探讨 DBMS 中这两个级别之间的接口 - 缓冲区管理器(the buffer manager)。

缓冲区管理器负责管理内存中的页面,并处理文件和索引管理器的页面请求。请记住,内存空间是有限的,因此我们无法负担得起将所有页面存储在缓冲池中。缓冲区管理器负责淘汰策略,即在空间填满时选择淘汰哪些页面。当页面从内存中淘汰或新页面读入内存时,缓冲区管理器会与磁盘空间管理器通信,执行所需的磁盘操作。

2、缓冲池

内存通过将空间划分为页面可以放置的帧而转化为缓冲池。一个缓冲帧可以容纳与一个页面相同量的数据(因此一个页面完美地适应一个帧)。为了有效跟踪帧,缓冲区管理器在内存中为元数据表分配了额外的空间。

该表追踪了4个信息:

1. 与内存地址唯一关联的 “框架ID”
2. 用于确定框架当前包含哪个页面的 “页面ID”
3. 用于验证页面是否已被修改的 “脏位”
4. 用于跟踪当前使用页面的请求者数量的“Pin计数”

3、处理页面请求

当从缓冲管理器请求页面并且页面已经存在于内存中时,页面的引用计数会递增,并返回页面的内存地址。

如果页面不在缓冲池中且仍有空间,将找到下一个空框架,并将页面读入该框架。页面的引用计数设置为1,并返回页面的内存地址。在页面不存在且没有空框架的情况下,必须使用替换策略确定要驱逐的页面。

替换策略的选择在很大程度上取决于页面访问模式,并通过计算页面命中次数选择最优策略。页面命中是指可以在内存中找到请求的页面而无需访问磁盘。每个页面未命中会产生额外的IO成本,因此良好的淘汰策略对性能至关重要。访问模式的命中率定义为#页面命中次数 / (#页面命中次数 + #页面未命中次数),或更简单地说,#页面命中次数 / #页面访问次数。

此外,如果被驱逐的页面的脏位被设置,则将页面写入磁盘以确保更新被持久化。如果在内存中对页面进行更新,则将脏位设置为1。一旦页面被写回磁盘,脏位就被设置为0。

一旦请求者完成其工作负载,它负责通知缓冲管理器减少其先前使用的页面的引用计数。

4、LRU替换和时钟策略

一个常用的替换策略是 LRU(最近最少使用)。当需要将新页面读入已满的缓冲池时,将淘汰最近最少使用、引用计数为 0 且 "Last Used" 列具有最低值的未固定页面。为了追踪页面的使用情况,在元数据表中添加了一个 "Last Used" 列,用于记录页面引用计数减少的最新时间。LRU 是一个有效的策略选择,因为它会保留常被访问的页面在内存中,由于它们经常被访问,因此很可能是最近使用的。

实现 LRU 通常可能成本较高。时钟策略提供了一种替代实现,它使用元数据表中的一个 ref bit(最近被引用)列和一个时钟手变量来高效地近似 LRU。使用 ref bit 可以降低空间和时间成本。只需每个框架一个比特,而不是多个比特来存储 Last Used 值。在时间方面,缓冲管理器只需跟随clock hand。在 LRU 中,缓冲管理器必须花费时间搜索 Last Used 列中的最小值。

时钟策略算法将元数据表视为帧的循环列表。它在开始时将时钟手设置为第一个未固定的帧,并在将每个页面最初读入帧时将其相应行的ref bit设置为1。该策略在尝试淘汰时的工作方式如下:

1. 遍历表中的帧,跳过固定的页面,并在到达末尾时绕回到帧0,直到找到第一个未固定且ref bit = 0的帧。

2. 在每次迭代期间,如果当前帧的ref bit = 1,则将ref bit设置为0并将时钟手移动到下一个帧。

3. 在到达ref bit = 0的帧时,淘汰现有页面(如果dirty bit被设置,则将其写入磁盘;然后将dirty bit设置为0),读取新页面,将帧的ref bit设置为1,并将时钟手移动到下一个帧。

如果访问当前在缓冲池中的页面,则时钟策略将页面的ref bit设置为1而不移动时钟手。

1)顺序扫描性能 - LRU

LRU 总体上表现良好,但在一组页面 S(其中 $|S| >$ 缓冲池大小)被多次重复访问时,性能会受到影响。这种访问模式称为顺序淹没,经常在数据库工作负载中出现,比如在表中扫描每个记录。

为了突显这一点,请考虑一个使用 LRU 的 3 帧缓冲池,具有以下访问模式:

A B C D A B C D A B C D A B C D

5、最近最常使用替换策略(MRU Replacement)

另一个常用的替换策略是 MRU(最近最常使用)。与淘汰最近最少使用的未固定页不同,MRU 策略淘汰最近最常使用的未固定页,根据页面的固定计数最后一次减少的时间来衡量。

1)Sequential Scanning Performance - MRU

起初使用这种策略可能会显得违反直觉,但考虑一个使用 MRU 的 3 帧缓冲池的访问模式:

A B C D A B C D A B C D A B C D

显然,在发生顺序淹没访问模式时,MRU 在页面命中率方面远远优于 LRU。

6、练习题

1)判断真假

a. 缓冲池中的每个帧都是一个磁盘页面的大小。

真。帧的大小被定义为磁盘页面的大小。

b. 缓冲管理器代码(而不是文件/索引管理代码)负责设置页面的脏位。

假。页面的请求者(文件/索引管理代码)设置脏页。

c. 脏位用于跟踪页面的受欢迎程度。

假。脏位用于跟踪页面在写回磁盘之前是否已被修改。引用计数用于跟踪受欢迎程度。

d. 使用LRU策略时,引用位用于在替换页面之前为页面提供“第二次机会”留在内存中。

假。引用位不用于LRU策略。它们用于时钟策略。

e. 对文件进行顺序扫描时,当文件小于缓冲池时,使用MRU或LRU将具有相同的命中率(从空缓冲池开始)。

真。由于我们可以将所有页面放入内存,因此在顺序扫描期间我们不需要驱逐页面。

f. 页面的引用计数只能由缓冲管理器递减。

假。引用计数由请求页面的人递减,表示他们已经使用完毕。

2)LRU、MRU、Clock相关问题

对于以下问题,我们有一个初始为空的缓冲池,其中有4个缓冲帧。对于访问模式:

A B D D E A E C A B C A E

a. LRU的命中率是多少?

b. 当LRU完成时,缓冲池中有哪些页面?

c. MRU的命中率是多少?

d. 当MRU完成时,缓冲池中有哪些页面?

e. Clock的命中率是多少?

f. 当Clock完成时,缓冲池中有哪些页面?

详细的访问模式如下图所示。在 LRU 和 MRU 中,行数对应于缓冲帧的数量,每列对应于一个单独的访问,其中字符表示缺失,星号表示命中。

a. 7/13

b. A, C, B, E

c. 7/13

d. E, B, D, C

e. 6/13

f. C, A, B, E

以上,DBS note4:Buffer Management

祝好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/180309.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

python实战—核心基础3(RGB模式颜色转换器) lv1

目录 一、核心代码解释 二、代码 三、运行截图 一、核心代码解释 1、hex() 函数 参数说明: x -- 10进制整数 返回值: 返回16进制数,以字符串形式表示。 实例: 以下实例展示了 hex 的使用方法: >>>h…

单片机调试技巧--修改bin文件实现断点

fromelf --text -a -c --outputall.dis F103_Moduel\F103_Moduel.axffromelf --bin --outputtest.bin F103_Moduel\F103_Moduel.axf 在启动文件中,修改UsageFault_Handler UsageFault_Handler\PROC; get current contextTST lr, #0x04 ; if(!EXC_RETURN[2])ITE…

WifiManager的getConnectionInfo被弃用了?快来使用ConnectivityManager获取更全的网络信息吧

前言 最近在使用flutter写桌面端的一个adb工具,可以使用adb命令无线连接设备,需要电脑和手机在同一局域网内,但是需要手机的ip地址。于是我想到写一个android桌面小组件,点一下就获取WiFi的ipv4地址并显示出来,先去找…

计算机网络之运输层

一、概述 物理层、数据链路层以及网络层它们共同解决了将主机通过异构网络互联起来所面临的的问题,实现了主机到主机的通信 但实际上在计算机网络中进行通信的真正实体是位于通信两端主机中的进程 如何为运行在不同主机上的应用进程提供直接的通信服务时运输层的任务…

【深度学习】Transformer简介

近年来,Transformer模型在自然语言处理(NLP)领域中横扫千军,以BERT、GPT为代表的模型屡屡屠榜,目前已经成为了该领域的标准模型。同时,在计算机视觉等领域中,Transformer模型也逐渐得到了重视&a…

第十一章 docker swarm集群部署

文章目录 前言一、安装docker1.1 解压1.2 配置docker 存储目录和dns1.3 添加docker.service文件1.4 docker 启动验证 二、docker swarm 集群配置2.1 关闭selinux2.2 设置主机名称并加入/etc/hosts2.3 修改各个服务器名称(uname -a 进行验证)2.4 初始化sw…

【SpringBoot篇】Spring_Task定时任务框架

文章目录 🌹概述🌺应用场景🎄cron表达式🛸入门案例🎍实际应用 🌹概述 Spring Task 是 Spring 框架提供的一种任务调度和异步处理的解决方案。可以按照约定的时间自动执行某个代码逻辑它可以帮助开发者在 S…

PTA 六度空间

“六度空间”理论又称作“六度分隔(Six Degrees of Separation)”理论。这个理论可以通俗地阐述为:“你和任何一个陌生人之间所间隔的人不会超过六个,也就是说,最多通过五个人你就能够认识任何一个陌生人。”如图1所示…

Springboot+vue的新冠病毒密接者跟踪系统(有报告)。Javaee项目,springboot vue前后端分离项目

演示视频: Springbootvue的新冠病毒密接者跟踪系统(有报告)。Javaee项目,springboot vue前后端分离项目 项目介绍: 本文设计了一个基于Springbootvue的新冠病毒密接者跟踪系统,采用M(model)V(v…

【实用】PPT没几页内存很大怎么解决

PPT页数很少但导出内存很大解决方法 1.打开ppt点击左上角 “文件”—“选项” 2.对话框选择 “常规与保存” (1)如果想要文件特别小时可 取消勾选 “将字体嵌入文件” (2)文件大小适中 可选择第一个选项 “仅最入文档中所用的字…

【数组栈】实现

目录 栈的概念及其结构 栈的实现 数组栈 链式栈 栈的常见接口实现 主函数Test.c 头文件&函数声明Stack.h 头文件 函数声明 函数实现Stack.c 初始化SLInit 扩容Createcapacity 压栈STPush 出栈STPop 栈顶元素STTop 判断栈是否为空STempty 栈内元素个数STSzi…

ABB机 器 人 操 作 培 训

目 录 1 培训手册介绍 ---------------------------------------------2 2 系统安全与环境保护 ---------------------------------------------3 3 机器人综述 ---------------------------------------------5 4 机器人示教 --------------------------------------------12…

普通平衡树

题意:略,题中较清晰。 用二叉查找树来存储数据,为了增加效率,尽量使左子树和右子树的深度差不超过一,这样可以时间控制在logn,效率比较高。 右旋和左旋,目的是为了维护二叉树的操作&#xff0…

CSGO搬砖项目全面讲解 ,CSGO搬砖注意事项

Steam/CSGO游戏搬砖全套操作流程之如何选品(第二课) 一个游戏只要能搬,只要体量不够大,很快就会货币价格暴跌,直接凉凉。市面上的能稳定手动搬砖的游戏越来越少。所以对于兼职赚点外快的散人搬砖党来说,找一…

【Vue入门篇】基础篇—Vue指令,Vue生命周期

🎊专栏【JavaSE】 🍔喜欢的诗句:更喜岷山千里雪 三军过后尽开颜。 🎆音乐分享【如愿】 🎄欢迎并且感谢大家指出小吉的问题🥰 文章目录 🍔Vue概述🎄快速入门🌺Vue指令⭐v-…

微信小程序登录获取不到头像和昵称解决办法

微信小程序登录获取不到头像和昵称主要原因是:小程序wx.getUserProfile接口被收回! 大家可以按照文档操作↓ PS: 针对小程序wx.getUserProfile接口将被收回后做出的授权调整 小程序文档中提出的调整说明 对于此次变化,现将小程…

如何满足BMW EDI项目的PKT需求?

近期宝马BMW(以下简称BMW)在其部分供应商之间试点推进PKT项目,BMW为什么要启动 PKT 计划呢? 业务系统全面升级统一全球所有宝马工厂的流程 宝马内部的物流供货流程 近期BMW PKT需求主要针对其内部物流供货流程展开: …

Android : Spinner(列表选项框) + BaseAdapter -简单应用

​​容器与适配器:​​​​​ http://t.csdnimg.cn/ZfAJ7 示例图: 实体类 Demo.java package com.example.mygridviewadapter.entity;public class Demo {private String text;private int img;public Demo(String text, int img) {this.text…

QQ怎么备份聊天记录?3个方法教你快速备份!

QQ聊天记录作为用户和亲人、好友以及同事之间沟通的凭证,可以帮助我们回忆起过去的交流内容。如果我们不小心误删了QQ聊天记录或者更换了新手机,那么这时候就需要备份聊天记录。qq怎么备份聊天记录呢?本文将介绍3个简单方法,帮助您…

Oracle-客户端连接报错ORA-12545问题

问题背景: 用户在客户端服务器通过sqlplus通过scan ip登陆访问数据库时,偶尔会出现连接报错ORA-12545: Connect failed because target host or object does not exist的情况。 问题分析: 首先,登陆到连接有问题的客户端数据库上,…