【操作系统】内存管理——地址空间连续内存分配与非连续内存分配

内存管理——地址空间&连续内存分配与非连续内存分配

  • 一、地址空间
    • 1.1 计算机存储层次
    • 1.2 地址和地址空间
    • 1.3 虚拟存储的作用
  • 二、内存分配
    • 2.1 静态内存分配
    • 2.2 动态内存分配
  • 三、连续内存分配
    • 3.1 动态分区分配
    • 3.2 伙伴系统(Buddy System)
  • 四、非连续内存分配
    • 4.1 段式存储管理
    • 4.2 页式存储管理
    • 4.3 页表
    • 4.4 段页式存储管理

一、地址空间

1.1 计算机存储层次

基本要求: 一个进程需要一块存储时分配,完成工作后收回
基本结构: 首先分为物理存储和逻辑存储。

  • 物理地址(PA, Physical Address) :用于内存芯片级的单元寻址,与处理器和CPU连接的地址总线相对应。
  • 逻辑地址(LA, Logical Address) :CPU执行机器指令时,用来指定一个操作数或者是一条指令的地址。也是用户编程时使用的地址。

计算机的存储层次结构图:
物理存储可以从计算机体系结构的三个重要模块入手:CPU、内存和IO

计算机的存储多层结构图:
  大体的调用关系如下,首先要考虑最为快速的缓存,其存取速度与CPU主频相同。缓存的使用是我们所不能意识到的,因为其依靠硬件实现。但内存和虚存是我们需要在操作系统当中操作的。


操作系统对内存资源的抽象图:
  逻辑地址空间:物理地址如果交由计算机或许是可以方便使用的,但是对于人来说,并不容易记忆理解和使用。我们希望我们各个进程使用的存储都相对性地低耦合,有一个比较清晰的逻辑结构。把线性的物理地址编号转换为抽象的逻辑内存结构的管理机制是MMU(内存管理单元)

内存管理的目标

  • 抽象:逻辑地址空间
  • 保护:独立地址空间
  • 共享:访问相同内存
  • 虚拟化:更大都地址空间

操作系统中的内存管理方式:

  • 重定位(relocation)
  • 分段(segmentation)
  • 分页(paging)
  • 虚拟存储(virtual memory/storage)

1.2 地址和地址空间

地址空间的定义

  • 物理地址空间 —— 硬件支持的地址空间(address:[0, Maxsys])
  • 逻辑地址空间 —— 一个运行在程序所拥有的的内存范围(address:[0, Maxprog])

逻辑地址的生成
主要步骤: 编译、汇编、链接、重定位

  • .c file 函数位置、变量名即逻辑地址。
  • .s file 汇编语言中更加贴近机器语言,但是依然用符号代表变量名字。
  • .o file 机器语言中,起始地址都是从0开始的,把变量名转换为地址。
  • linker把多个.o file变成一个单一的.exe file。
  • .exe file 中,地址已经做了全局的分布,不同的.o file程序的地址在单一程序中已经有各自的定义。
  • .exe file 通过loader放到内存中运行,会有一定的偏移量,所以程序依照偏移量来进行正确数据的访问和指令的操作。

物理地址生成

  • CPU根据指令,查找逻辑地址的物理地址在什么地方
  • 根据什么查找?MMU(内存管理单元)将逻辑地址映射到物理地址

1.3 虚拟存储的作用

1. 外存的缓存: 虚拟内存可作为外存的缓存

  • 常用数据放在物理内存中
  • 不常用数据放在外存
  • 运行的程序直接用虚存地址,不用关注具体放在物理内存还是外存

2. 简化应用编译和加载运行: 每个运行程序具有独立的地址空间,而不管代码和数据在物理内存的实际存放,从而简化:

  • 编译的执行程序链接
  • 操作系统的执行程序加载
  • 共享:动态链接库、共享内存
  • 内存分配:物理不连续,虚拟连续

3. 保护数据: 虚拟内存可保护数据

  • 独立的地址空间使得区分不同进程各自内存变得容易
  • 地址转换机制可以进行可读/可写/可执行的检查
  • 地址转换机制可以进行特权级检查

二、内存分配

运行应用所占内存按存储数据特 征划分成多个段(Segment)
内存分配方式

  • 静态内存分配
  • 动态内存分配
    • 连续内存分配
    • 非连续内存分配

2.1 静态内存分配

参考博文:linux下,程序各个部分对应的段位置,图说 bss段 text段 data段 rodata段 栈 堆

静态内存分配是指编译时的内存分配

  • 包括全局变量、静态变量和代码段
  • 位于全局/静态数据段、常量数据段、代码段

下面从低地址到高地址,先分别说明下每个段的意义:

1.受保护区: 受保护区,是用户不能访问的地址,受系统保护,一般为 0-4k,我们平时写程序的初始化一个指针,

char *p = NULL;

这个NULL就是指向的受保护区,0 地址。

2. 代码段:主要存放用户编写的业务逻辑程序、算法等,这里的地址是绝对地址,因此如果有链接动态库,是放在共享库中的。

3. rodata段: .rodata段 是 只读数据段,比如我们用const修饰的值就是放在这个区域的。

const int a[] = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9];

4. data段: .data段 是数据段,存放了已经初始化的全局变量,以及已初始化全局静态变量,已初始化的局部静态变量等。

int g_init_v = 1;
static int static_init_v = 1;
static int static_uinit_v;

初始化的全局变量,已经初始化和未初始化的静态变量都在这个段,初始化的局部静态变量。

5.bss段: .bss段 是未初始化的全局变量以及未初始化的静态局部变量。

int g_uinit_v;

6.堆: 程序员可以用来分配内存的空间,使用malloc分配。

/* mallloc */
int *malloc_v = malloc(10);

在创建进程的时候,会为进程分配多大的堆。

7.共享库: 共享库,在调用了共享库的可执行程序里面,共享库放在这个位置。

8.栈: 栈,程序执行过程中,程序用来存放临时变量和函数返回值的区域(局部变量、函数)。由系统分配和回收,在进程创建的时候,每个进程/线程都有自己独立的栈空间。

9.命令行和环境变量: 就是我们linux的环境变量env,命令行参数,比如

int main(int argc, char *argv[])

这里面argv所带的参数。

利用下面的例子说明

2.2 动态内存分配

动态内存分配是指运行时的内存分配

  • 栈(stack)
    • 局部变量
  • 堆(heap)
    • malloc()函数分配内存
    • free()函数释放内存

1. 堆和栈的内存分配

  • 栈由编译器管理:隐式分配
  • 堆的分配和释放由程序员管理:显式分配

2. 分配大小

  • 栈是由高地址向低地址生长的数据结构,是一块连续的内存,能从栈中获得的内存较小编译期间确定大小
  • 堆是由低地址向高地址生长的数据结构,是一个不连续的储存空间内存获取比较灵活,也较大

3. 动态内存分配函数 malloc()

  • malloc()函数: void * malloc (size_ t size);

    • 申请一块size大小的连续堆内存
    • 函数返回值是一个指针,指向刚分配的内存首地址
    • 如果申请内存失败, 返回一个空指针,即返回值为NULL
  • 动态内存的分配和释放必须成对使用

    • 如果malloc()比free()多,会造成内存泄漏
    • 如果malloc()比free()少,会造成二次删除,破坏内存,导致程序崩溃

4. 动态内存回收函数free()

  • free()函数:void free (void *ptr)
    • 释放指针变量在堆区上的内存空间
    • 不能释放栈上的内存空间
    • free()要与malloc()成对使用

三、连续内存分配

3.1 动态分区分配

1. 连续内存分配: 给应用分配一块不小于指定大小连续的内存区域

内存碎片: 不能被利用的空闲内存

  • 外碎片: 分配单元间未被使用内存
  • 内碎片: 分配单元内部未被使用内存

2. 动态分区分配: 当程序被加载执行时,分配一个进程指定大小可变的分区(块、内存块),并且分区的地址是连续的

操作系统需要维护的数据结构

  • 所有进程的已分配分区
  • 空闲分区(Empty-blocks)

3. 动态分区分配策略
(1)最先匹配(First-fit):在内存中找到第一个比需求大的空闲块,分配给应用程序

(2)最佳匹配(Best-fit):在内存中找到最小、最适合的空闲块,分配给应用程序

(3)最差匹配(Worst-fit):在内存中找到最大的空闲块,分配给应用程序

动态分区方式对比表

动态分区方式原理&实现优势劣势
最先匹配1. 空闲分区列表按地址顺序排序
2. 分配需要寻找一个合适的分区
3. 重分配需要检查是否可以合并相邻空闲分区
简单
在高地址易于产生更大空闲块
外部碎片
分配大块时间较慢
最佳匹配1. 分配需要寻找一个合适的分区
2. 空闲分区列表按照大小排序(从小到大)
3. 重分配需要检查是否可以合并相邻空闲分区
比较简单
可减小外碎片大小
避免大的空闲分区拆分
大部分是小尺寸时高效
外部碎片 & 释放分区慢
易产生很多无用小碎片
最差匹配1. 分配时,选最大分区
2. 空闲分区列表按由大到小排
3. 重分配需要检查是否可以合并相邻空闲分区
避免出现太多的小碎片
大部分分配是中尺寸时高效
外部碎片 & 放分区慢
大空闲块易破碎,大分区无法被分配

三种分配方式并无优劣之分,因为我们无法判断内存请求的大小。

4. 碎片整理
  可以看到的是,三种分区动态分配的方式都会产生外部碎片,因此我们可以对碎片进行一定的整理来解决碎片问题,通过调整进程占用的分区位置来较少会避免分区随便

(1)紧凑: 通过移动分配给进程的内存分区,以合并外部碎片
紧凑条件: 所有的应用程序可动态重定位

(2)分区对换

  • 运行程序需要更多的内存时,抢占等待的程序并回收它们的内存,以增大可用内存空间

  • 早期linux/unix分区对换过程:充分运用内存的做法,只有一个进程可以在内存中运行的状态下,可以对换来实现多进程的交替运行

3.2 伙伴系统(Buddy System)

伙伴系统比较好的折中了分配和回收过程当中合并和分配块位置的碎片问题。

1. 分区大小

  • 可分配分区的大小 2U
  • 待分配分区的大小为2(U-1) < s ≤ 2U,把整块分配给应用
  • 待分配分区的大小为 s ≤ 2(i-1)
    • 将大小为 2i 的当前空闲分区划分成两个大小为 2i-1空闲分区
    • 重复划分过程,直到2(i-1) < s ≤ 2i ,把一个空闲分区分配出去

2. 数据结构

  • 空闲块按大小和起始地址组织成二维数组
  • 初始状态:只有一个大小为 2U的空闲块

3. 分配过程

  • 由小到大在空闲块中找最小可用块
  • 如空闲块过大,对可用空闲块进行二等分,直到得到合适可用空闲块

4. 释放过程

  • 把块放入空闲块数组
  • 合并满足条件的空闲块
    合并条件
  • 大小相同 2i
  • 地址相邻
  • 低地址空闲块起始地址为2i+1的位数

四、非连续内存分配

1. 连续内存分配的缺点

  • 分配给一个程序的物理内存是连续的
  • 内存利用率较低
  • 有外碎片 / 内碎片的问题

能否通过新的一些手段来改善这些情况?=> 非连续内存分配

2. 非连续内存分配的优点

  • 一个程序的物理地址空间是非连续
  • 更好的内存利用和管理
  • 允许共享代码与数据(共享库等…)
  • 支持动态加载和动态链接

3. 非连续内存分配的缺点

  • 建立虚拟地址和物理地址的地址转换难度大

  • 软件方案(开销相当大)

  • 硬件方案(采用硬件辅助机制)

    ➢ 分段(Segmentation)

    分页(Paging)

4.1 段式存储管理

1. 段地址空间

  • 程序运行的段地址空间由多个段组成
  • 段的概念:段表示访问方式和存储数据等属性相同的一段地址空间
  • 主代码段、子模块代码段、公共库代码段、栈段、堆数据(heap)、初始化数据段、符号表等…

逻辑地址空间转化为不连续的二维结构:

2. 段访问机制
段的概念:

  • 段表示访问方式和存储数据等属性相同的一段地址空间
  • 对应一个连续的内存“块”
  • 若干个段组成进程逻辑地址空间

段访问: 逻辑地址由二元组(s,addr)组成

  • s——断号
  • addr——段内偏移

段访问的硬件实现:

4.2 页式存储管理

1. 页式存储管理概念
页帧(帧、物理页面,Frame, Page Frame)

  • 把物理地址空间划分成大小相同的基本分配单位
  • 2的n次方,如512,4096,8192

页面(页、逻辑页面,Page)

  • 把逻辑地址空间也划分为相同大小的基本分配单位
  • 帧和页的大小必须是相同的

页面到页帧:

  • 逻辑地址到物理地址的转化
  • 页表
  • MMU/TLB

2. 页式存储管理的地址转化
页帧(Frame)
内存物理地址的表示:二元组(f,o)

  • frame-number:帧号(F位,共有 2F 个帧
  • off-set:帧内偏移(S位,每帧有 2S 字节)

物理地址 = f * 2s + o

物理地址计算实例:

  • 假定16-bit的地址空间
  • 9-bit(512 byte)大小的页帧
  • 物理地址表示 = (3,6)

物理地址 = f * 2s + o = 3 * 2 9 + 6 = 1542

其中:
F:帧号的位数
s:一帧的长度
f:帧号
s:帧内偏移

页面(Page)

  • 页内偏移 = 帧内偏移
  • 通常:页号大小 ≠ 帧号大小

进程逻辑地址的表示:二元组(p,o)
p —— 页号(p位,2p个页)
o —— 页内偏移(S位,,每页有2S字节)

虚拟地址 = p * 2s + o

3. 逻辑地址到物理地址的映射 >>>>>>>>>页表
页表:

  • 页到帧的映射
  • 逻辑地址中的页号是连续的
  • 物理地址中的帧号是不连续的
  • 不是所有的页都有对应的帧

页表:保存了逻辑地址——物理地址之间的映射关系

4.3 页表

(1)页表概述
页表结构

  • 每个进程都有一个页表
  • 每个页面对应一个页表项
  • 随进程运行状态而动态变化
  • 页表基址寄存器

页表地址转化实例

(2)分页机制的性能问题 : 空间代价、时间开销

  • 访问一个内存单元需要2次内存访问
    ➢ 一次用于获取页表项
    ➢ 一次用于访问数据

  • 页表可能非常大
    ➢ 64位机器如果每页1024字节,那么一个页表的大小会是多少?(264 / 210 = 254
    ➢ 每一个运行的程序都需要有一个页表

  • 如何处理?
    ➢ 缓存(Caching)
    ➢ 间接(Indirection)访问

2. 快表
利用缓存的机制来减少对内存的访问,实际上就是把近期访问过的页表项缓存到CPU里

  • TLB 使用关联存储实现,具备快速访问性能
  • 如果TLB命中,物理页号可以很快被获取
  • 如果TLB未命中,对应的表项被更新到TLB中

3. 多级页表
通过简介引用的方式来减少页表的长度,通过间接引用将页号分成k级

  • 访问次数 k+1 次
  • 具体访问过程:第一级页表项作为第一页表的偏移找到第二级页表上的起始,第二级页表项作为第二页表的偏移找到第三及页表上的起始…,最后找到访问内存单元的物理页号 + 物理内存的访问
  • 减少每级页表的长度

二级页表实例:

4. 反置页表

  • 对于大地址空间(64-bits)系统,多级页表变得繁琐
  • 页寄存器和反置页面的思路
    • 不让页表与逻辑地址空间的大小相对应
    • 让页表与物理地址空间的大小相对应

4.4 段页式存储管理

段式存储在内存保护方面有优势,页式存储在内存利用和优化转移到后备存储方面有优势。

在段式存储管理基础上,给每个段加一级页表

通过指向相同的页表地址,实现进程间的段共享

整理自 【清华大学】 操作系统

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/603390.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

5.1 Java全栈开发前端+后端(全栈工程师进阶之路)-服务端框架-MyBatis框架-相信我看这一篇足够

0.软件框架技术简介 软件框架(software framework),通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规范,也 指为了实现某个软件组件规范时,提供规范所要求之基础功能的软件产品。 框架的功能类似于基础设…

cufftPlanMany参数说明

背景 最近在看cufft这个库,传统的cufftPlan3d()这种plan接口逐渐被nvidia舍弃了,说是要用最新的cufftPlanMany,这个函数呢又依赖一个什么Advanced Data Layout(地址),最终把这个api搞得乌烟瘴气很难理解,为了理解自己…

瓷器三维虚拟展示编辑平台为您量身定制高效实惠的展示方案

在竞争激烈的机械产品行业中,如何脱颖而出、展现产品魅力与企业实力?深圳vr公司华锐视点以其独特的三维动画设计制作服务,为您量身定制全方位的展示方案,让您的机械产品在市场中熠熠生辉。 全方位展示,细节尽收眼底 我们的三维展…

医学论文摘要翻译 中译英哪里比较专业

论文摘要是对论文内容不加注释和评论的简短陈述,需要扼要说明论文的目的、研究方法和最终结论。在发表学术论文时,很多重要刊物会要求作者将文章的摘要翻译成英文。那么,针对医学论文摘要翻译,中译英哪里比较专业? 专…

【论文速读】|针对模糊驱动生成的提示性模糊测试

本次分享论文:Prompt Fuzzing for Fuzz Driver Generation 基本信息 原文作者:Yunlong Lyu, Yuxuan Xie, Peng Chen, Hao Chen 作者单位:腾讯安全大数据实验室、加州大学戴维斯分校 关键词:软件测试, Fuzzing, 自动化Fuzz驱动…

Linux的基础IO:文件系统

目录 学前补充 磁盘的存储结构 OS如何对磁盘的存储进行逻辑抽象 细节内容 文件的增删改查 学前补充 问题:计算机只认二进制,即0、1,什么是0、1? 解释:0、1在物理层面可能有不同的表现,0、1是数字逻辑…

粘土制作的梵高世界;实时自由地转换您的声音Supertone;几秒钟内设计出令人惊叹的LOGO

✨ 1: 梵高的世界 你探索 runwayml #Gen2 过 的风格功能吗?看看这个用粘土制作的梵高作品的视频——就像走进了梵高的双手雕刻的世界。 🎨 🖌️ 关注更多将经典艺术与现代技术融合的创新方式! ✨ 2: Supertone Shift 实时自由…

基于零一万物多模态大模型通过外接数据方案优化图像文字抽取系统

大模型相关目录 大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步,扬帆起航。 大模型应用向开发路径:AI代理工作流大模型应用开发实用开源项目汇总大模…

深究muduo网络库的Buffer类!!!

最近在学习了muduo库的Buffer类,因为这个编程思想,今后在各个需要缓冲区的项目编程中都可以用到,所以今天来总结一下! Buffer的数据结构 muduo的Buffer的定义如下,其内部是 一个 std::vector,且还存在两个…

Pyecharts的编程环境准备

一,准备Python编程环境: Python版本:3.10以上,最高版本3.12 https://www.python.org/ 进入官网,点击downloads—>windows进入下载页面,搜索”3.10.6”找到指定版本,下载并安装64位Installer…

ai智能答题助手,这四款软件让知识触手可及!

在数字化时代,知识的获取变得前所未有的便捷。随着人工智能技术的不断发展,AI智能答题助手应运而生,成为了人们学习、工作和生活中的得力助手。今天,就为大家介绍四款备受欢迎的AI智能答题助手软件,让你感受知识的魅力…

string讲解和实现

认识string string是将basic_string<char>重新定义了 basic_string是一个类模板&#xff0c;里面包括了一些列的有关字符的函数 注意&#xff1a;insert/erase/replace能不要就不用&#xff0c;他们都涉及挪动数据&#xff0c;效率不高 size_t注意 面对无符号整形size_t在…

静态住宅代理 IP 的影响

在不断发展的在线业务和数字营销领域&#xff0c;保持领先地位势在必行。在业界掀起波澜的最新创新之一是静态住宅代理 IP 的利用。这些知识产权曾经是为精通技术的个人保留的利基工具&#xff0c;现在正在成为各行业企业的游戏规则改变者。 一、静态住宅代理IP到底是什么&…

互联网轻量级框架整合之HibernateMyBatis

持久层框架 Hibernate 假设有个数据表&#xff0c;它有3个字段分别是id、rolename、note, 首先用IDEA构建一个maven项目Archetype选择org.apache.maven.archetypes:maven-archetype-quickstart即可&#xff0c;配置如下pom <project xmlns"http://maven.apache.org/…

应用FMEA打造零风险供应链的关键因素有哪些?

当下&#xff0c;构建零风险的供应链已成为企业竞争的核心要素。其中&#xff0c;FMEA&#xff08;故障模式与影响分析&#xff09;作为一种预防性的质量工具&#xff0c;对于识别和消除潜在风险&#xff0c;优化供应链流程至关重要。本文&#xff0c;天行健六西格玛管理培训公…

sklearn的make_blobs函数

make_blobs是一个用于生成随机数据点的实用函数&#xff0c; from sklearn.datasets import make_blobs X,Y make_blobs(n_samples2000,n_features2,centers12,cluster_std0.05,center_box[-5,5],random_state21)n_samples: 要生成的样本数量。centers: 要生成的簇&#xff0…

linux文本三剑客之awk

目录 1、特点与应用场景 2、awk命令执行流程 3、awk行与列 1)awk取行 2)awk取列 3)awk行与列综合使用 4、awk模式匹配-正则匹配 5、awk模式匹配-范围模式 6、awk模式匹配-特殊模式 7、awk数组* 1) 用途 2&#xff09;格式对比 8、awk循环与判断 1、特点与应用场景…

App测试基本流程以及注意事项

1 APP测试基本流程 1.1流程图 1.2测试周期 测试周期可按项目的开发周期来确定测试时间&#xff0c;一般测试时间为两三周&#xff08;即15个工作日&#xff09;&#xff0c;根据项目情况以及版本质量可适当缩短或延长测试时间。 1.3测试资源 测试任务开始前&#xff0c;检查…

Neo4j+LLM+RAG 环境配置报错处理

开发KGLLMRAG程序时遇到以下报错&#xff0c;记录下处理方案&#xff1a; ValueError: Could not use APOC procedures. Please ensure the APOC plugin is installed in Neo4j and that ‘apoc.meta.data()’ is allowed in Neo4j configuration 这个参考文章&#xff1a;link…

【平台开发】MTK6833——cache操作记录

CPU Cache 用的是一种叫 SRAM&#xff08;Static Random-Access Memory&#xff0c;静态随机存储器&#xff09; 的芯片。 通常分为L1&#xff0c;L2&#xff0c;L3三层缓存。 CPU 并不会直接和每一种存储器设备直接打交道&#xff0c;而是每一种存储器设备只和它相邻的存储器…