Windows内存管理（二）:内存架构浅谈一二

《Windows内存管理（一）：Windows性能监视器(PerfMon)》

Windows内存管理是一个复杂的主题，涉及多个层次和组件。以下是一个分层的概述。

1、虚拟内存管理

Windows使用虚拟内存来给每个进程提供一个看似连续的内存空间，实际上这些空间可能分散在物理内存和磁盘上。

1.1 虚拟地址空间

每个Windows进程都有自己的虚拟地址空间，32位系统通常是4GB，64位系统则远大于此。

PS：所以，我们选择项目编译和运行在32位还是64位系统上，绝不是拍拍脑袋随便决定的。当虚拟内存空间大小成为项目瓶颈时，很显然选择64位的操作系统，我们的项目也对应使用64位编译工具链进行编译.

每个进程都有自己的用户空间需要管理，当我们使用VirtualAlloc等函数申请一块固定的地址空间时，首先需要确认这块空间是否被占用，如果该空间已被占用则申请失败用户空间并非像内核空间一样通过一块链表去管理已占用的线性地址空间（效率低），而是通过搜索二叉树 申请内存的两种方式：

通过VirtualAlloc/VirtualAllocEx申请：Private Memory（独享物理页）
通过CreateFileMapping进行映射：Mapped Memory（共享物理页）

1.2 页面文件

当物理内存不足时，Windows会使用页面文件（pagefile.sys）作为虚拟内存的扩展。

1.3 代码示例

`VituaAlloc`

LPVOID VituaAlloc{
        LPVOID IpAddress,   //要分配的内存区域的地址
        DWORD dwSize,       //分配的大小
        DWORD fiAllocationType, //分配的类型
        DWORD fiProtect     //该内存的初始保护属性
};

#include <windows.h>

int main() {
    // 分配虚拟内存
    LPVOID lpvBase = VirtualAlloc(
        NULL,                 // 系统选择地址
        1024 * 1024,          // 分配1MB空间
        MEM_COMMIT | MEM_RESERVE, // 分配并提交
        PAGE_READWRITE);      // 可读写保护

    if (lpvBase == NULL) {
        // 处理错误
    }

    // 使用内存...

    // 释放内存
    if (!VirtualFree(lpvBase, 0, MEM_RELEASE)) {
        // 处理错误
    }

    return 0;
}

Mapped Memory

共享内存

#define MapFileName "共享内存"
//内核对象:1、物理页 2、文件
HANDLE g_hMapFile = CreateFileMapping(INVALID_HANDLE_VALUE,NULL,PAGE_READWRITE,0,BUFSIZ,MapFileName);

//将物理页与线性地址进行映射
LPTSTR g_IpBuff=(LPTSTR)MapViewOfFile(g_hMapFile,FILE_MAP_ALL_ACCESS,0,0,BUFSIZ);
*(PDWORD)g_IpBuff = 0x12345678;

printf("%p",g_IpBuff);

共享文件

HANDLE g_hFile = CreateFile("C:\\NOTEPAD.EXE",GENERIC_READIGENERIC_WRITE,FILE_SHARE_READ,NULL,OPEN_ALWAYS,FILE_ATTRIBUTE_NORMAL,NULL);

HANDLE g_hMapFile = CreateFileMapping(g_hFile,NULL,PAGE_READWRITE,O,BUFSIZ,NULL);
LPTSTR g_IpBuff=(LPTSTR)MapViewOfFile(g_hMapFile,FILE_MAP_ALL_ACCESS,0,0,BUFSIZ);
*(PDWORD)g_IpBuff = 0x12345678;

镜像文件

HMODULE hModule = ::LoadLibrary("C:INOTEPAD.EXE");
1、LoadLibrary就是通过内存映射的方式实现的
2、为了避免影响到别人,属性为:写拷贝

2、物理内存管理

Windows通过内存管理器来管理物理内存，它负责页面的分配和回收。

2.1 工作集

工作集是指一个进程当前在物理内存中的页面集合。

2.2 代码示例：锁定内存页

#include <windows.h>

int main() {
    // 分配内存
    LPVOID lpvBase = VirtualAlloc(NULL, 1024 * 1024, MEM_COMMIT, PAGE_READWRITE);

    // 锁定内存页
    if (!VirtualLock(lpvBase, 1024 * 1024)) {
        // 处理错误
    }

    // 使用内存...

    // 解锁内存页
    VirtualUnlock(lpvBase, 1024 * 1024);

    // 释放内存
    VirtualFree(lpvBase, 0, MEM_RELEASE);

    return 0;
}

3. 内存分页

Windows使用分页系统来管理内存，非活跃的页面可以被移动到磁盘上的页面文件。

3.1 页面错误

硬页面错误：当一个进程访问的页不在物理内存中时，操作系统必须从磁盘中读取该页到物理内存，这个过程称为硬页面错误。
软页面错误：当一个进程访问的页在物理内存中但不在进程的工作集中，或者需要写入一个共享页时发生。

4. 内存池

在Windows内核中，内存管理是通过两种主要类型的内存池来实现的：非分页池（Non-Paged Pool）和分页池（Paged Pool）。这些池是操作系统内核用来分配内存给内核模式下的驱动程序和内核系统的。

非分页池（Non-Paged Pool）

定义：非分页池是一块内存区域，它的内容始终驻留在物理内存中，不会被分页到磁盘上。
用途：通常用于存储不能被分页出去的数据，如必须在任何时候都能快速访问的数据结构。
特点：
由于它不会被分页到磁盘，因此可以在任何IRQL（中断请求级别）下访问。
适用于中断服务例程（ISR）和其他高IRQL级别的代码。
限制：非分页池的大小是有限的，因为它占用的是宝贵的物理内存。

分页池（Paged Pool）

定义：分页池是可以被分页到磁盘上的内存区域。
用途：用于存储不需要在高IRQL下访问的数据。
特点：
当系统内存不足时，它的内容可以被分页到磁盘上。
只能在PASSIVE_LEVEL IRQL（即IRQL=0）下访问，这是大多数用户模式代码和一些低优先级的内核模式代码运行的级别。
优势：相对于非分页池，分页池可以更大，因为它不受物理内存大小的限制。
管理和监控
工具：可以使用Windows性能监视器（Performance Monitor）来监控非分页池和分页池的使用情况。
API：内核模式驱动程序可以使用内核API，如ExAllocatePoolWithTag来指定从哪个池分配内存，以及分配的内存块的标签。

4.1 代码示例：内核模式内存分配

#include <ntddk.h>

void DriverEntry() {
    // 分配非分页池内存
    PVOID pNonPagedMemory = ExAllocatePoolWithTag(NonPagedPool, 1024, 'Tag1');

    // 分配分页池内存
    PVOID pPagedMemory = ExAllocatePoolWithTag(PagedPool, 1024, 'Tag2');

    // 使用内存...

    // 释放内存
    ExFreePool(pNonPagedMemory);
    ExFreePool(pPagedMemory);
}

在这个示例中，ExAllocatePoolWithTag函数用于分配内存，并且每个分配都有一个标签，这有助于调试和跟踪内存使用。
注意事项

过度使用非分页池可能会导致系统的物理内存耗尽，从而引起性能问题或系统崩溃。
驱动程序开发者应当谨慎使用非分页池，并确保释放不再需要的内存。

理解和正确使用这两种内存池对于开发稳定的内核模式代码至关重要。

5、总结

Windows内存管理是一个多层次的架构，它涵盖了从用户空间的虚拟内存分配到内核空间的物理内存和内存池管理。理解这些层次和它们如何交互对于开发高效、稳定的Windows应用程序和驱动程序至关重要。

开发者可以通过各种API与这些层次交互，例如使用 VirtualAlloc 和 VirtualFree 在用户空间分配和释放内存，或者在内核模式下使用 ExAllocatePool 和 ExFreePool。正确地管理内存不仅可以提高应用程序的性能，还可以避免内存泄漏和其他内存相关的错误。

此外，开发者还需要考虑到内存的访问模式，比如内存页的锁定（VirtualLock）和解锁（VirtualUnlock），以及对非分页池和分页池的使用，这些都会影响程序的性能和稳定性。

最后，高级内存管理还可能涉及到对页面文件的管理、理解工作集的概念、处理页面错误以及优化内存使用和访问模式。通过工具如Windows性能监视器（Performance Monitor）和资源监视器（Resource Monitor），开发者可以监控应用程序的内存使用情况，从而做出相应的优化。

6 、拓展知识

几个常识性但很重要的问题

那么，我们在这里拓展性的提几个问题：

1、有个常识性的问题，我们知道以32位的.exe应用程序可以在64位的操作系统上运行，为何反过来却不行呢？

答：在Windows上，32位应用程序可以在64位操作系统上运行，这是因为64位Windows操作系统提供了一种名为WOW64（Windows 32-bit on Windows 64-bit）的兼容层。WOW64是一个兼容性环境，它模拟了32位Windows操作系统，允许32位应用程序在64位系统上运行，而无需任何修改。

WOW64实现了以下功能：

API转换：将32位应用程序的系统调用转换为适用于64位系统的调用。
文件系统重定向：将32位应用程序对系统文件夹的访问重定向到对应的32位版本文件夹。
注册表重定向：将32位应用程序对注册表的访问重定向到对应的32位视图。

相反，64位程序不能在32位操作系统上运行，原因包括：

处理器模式：64位程序需要在64位处理器模式下运行，这种模式支持更宽的寄存器和新的指令集，这些在32位模式下是不可用的。
内存寻址：64位程序设计为利用大于4GB的地址空间，而32位操作系统受限于最多4GB的地址空间（实际可用内存通常更少）。当然，32位程序跑64位系统，会浪费一部分地址空间；
操作系统内核：64位程序需要64位操作系统内核提供的服务和接口，这些服务和接口在32位操作系统中不存在。

因此，由于硬件和软件架构的根本差异，64位应用程序无法在32位操作系统上直接运行。

2、在windows上如何为每个进程设置更大的虚拟内存空间？

在Windows操作系统中，可以通过几种方法来设置进程可以分配的最大虚拟内存大小：
方法1. 系统属性设置
可以通过修改系统属性来设置所有进程可用的虚拟内存总量，即页面文件的大小。这不是针对单个进程，而是针对整个系统。

打开“控制面板”。
点击“系统和安全”。
点击“系统”。
在左侧面板中，点击“高级系统设置”。
在“系统属性”窗口中，切换到“高级”选项卡。
在“性能”部分，点击“设置”按钮。
在“性能选项”窗口中，切换到“高级”选项卡。
在“虚拟内存”部分，点击“更改”按钮。
取消勾选“自动管理所有驱动器的分页文件大小”，然后可以为每个驱动器设置自定义大小。

方法2. 通过程序设置
如果你正在开发软件，可以在程序中使用Windows API来限制特定进程的最大虚拟内存大小。例如，可以使用SetProcessWorkingSetSize函数来设置进程的工作集大小，这影响了进程的物理内存使用量，间接影响虚拟内存的使用。

#include <windows.h>

BOOL SetMaxMemoryUsage(HANDLE hProcess, SIZE_T dwMinimumWorkingSetSize, SIZE_T dwMaximumWorkingSetSize) {
    return SetProcessWorkingSetSize(hProcess, dwMinimumWorkingSetSize, dwMaximumWorkingSetSize);
}

在这个例子中，hProcess是进程的句柄，dwMinimumWorkingSetSize和dwMaximumWorkingSetSize是你希望设置的工作集的最小和最大大小。

方法3：通过Job对象
Windows提供了Job对象，可以用来管理多个进程的资源使用。可以创建一个Job对象，将一个或多个进程与之关联，并设置资源限制。

#include <windows.h>

int main() {
    // 创建Job对象
    HANDLE hJob = CreateJobObject(NULL, NULL);

    // 将进程关联到Job对象
    AssignProcessToJobObject(hJob, GetCurrentProcess());

    // 设置Job对象的内存限制
    JOBOBJECT_EXTENDED_LIMIT_INFORMATION jeli = {0};
    jeli.BasicLimitInformation.LimitFlags = JOB_OBJECT_LIMIT_PROCESS_MEMORY;
    jeli.ProcessMemoryLimit = sizeInBytes; // 设置进程内存限制

    SetInformationJobObject(hJob, JobObjectExtendedLimitInformation, &jeli, sizeof(jeli));

    // ... 运行进程 ...

    // 关闭Job对象句柄
    CloseHandle(hJob);

    return 0;
}

在这个例子中，sizeInBytes是你希望限制的内存大小。
注意

设置进程的最大虚拟内存大小可能会影响程序的性能和稳定性。
这些设置通常由系统管理员或有经验的用户进行，因为不当的设置可能会导致系统或应用程序运行不稳定。

在进行任何更改之前，请确保你了解这些设置的含义以及它们对系统的潜在影响。

3、在应用层，我们使用栈，还是通过new 或者 malloc 方法为对象分配的内存，都指的是虚拟内存么？
答：是的，当你在应用层使用 new 或 malloc 分配内存时，你实际上是在分配虚拟内存。在Windows操作系统中，每个进程都有自己的虚拟地址空间，这个地址空间是由操作系统管理的，它将虚拟地址映射到物理内存上。
当你使用 new 或 malloc 请求内存时，操作系统会在进程的虚拟地址空间中找到一块足够大的未使用区域，并将其标记为已使用。然后，当你首次访问这块内存时，操作系统会将虚拟地址映射到物理内存上。这个过程通常被称为按需分页（demand paging）。
这种虚拟内存系统的好处是，每个进程都有一致的地址空间视图，不需要关心物理内存的实际布局。此外，操作系统可以通过页面交换（swapping）机制，将不常用的内存页面移动到磁盘上，从而有效地管理有限的物理内存资源。

其他补充：

Windows分页系统是操作系统内存管理的核心组成部分，它允许物理内存（RAM）的有效使用，并为每个进程提供一个大的、连续的虚拟地址空间。以下是Windows分页系统的详细解释：
虚拟内存和物理内存

虚拟内存：为每个进程提供的抽象内存空间，它通过分页系统映射到物理内存。
物理内存：实际的RAM，其容量通常远小于虚拟内存空间。
分页机制
分页：操作系统将虚拟内存分割成固定大小的块，称为“页”（通常大小为4KB），物理内存同样分割成页框。
页表：用于维护虚拟页到物理页框的映射关系。
分页和换页
分页（Paging）：将不活跃的内存页从物理内存移动到磁盘上的页面文件。
换页（Swapping）：将整个进程的地址空间或大块内存从物理内存交换到磁盘，或者反过来。
页面文件
页面文件（Page File）：一个位于硬盘上的系统文件（pagefile.sys），用作虚拟内存的扩展。
内存管理单元（MMU）
MMU：硬件组件，负责虚拟地址到物理地址的转换。
页面错误
硬页面错误：当一个进程访问的页不在物理内存中时，操作系统必须从磁盘中读取该页到物理内存，这个过程称为硬页面错误。
软页面错误：当一个进程访问的页在物理内存中但不在进程的工作集中，或者需要写入一个共享页时发生。
工作集
工作集：一个进程实际在物理内存中的页集合。
内存压力
内存压力：当物理内存使用接近或达到上限时，操作系统会通过换出页到磁盘来减轻压力。
内存管理API
VirtualAlloc/VirtualFree：应用程序用来在虚拟地址空间中分配和释放内存的API。
内存管理策略
需求分页：只有当页面被访问时，它才会被加载到物理内存。
预读（Prefetching）：操作系统预测将要使用的页面并提前加载到物理内存。
页面置换算法：如最近最少使用（LRU）算法，用于决定哪些页面应该被换出到磁盘。
性能监控
性能监视器（Performance Monitor）：可以用来监控虚拟内存使用情况、页面文件使用情况、页面错误等。
优化
内存优化：开发者和系统管理员可以通过调整页面文件大小、监控内存使用模式、优化应用程序的内存使用等方式来优化内存使用。

Windows分页系统的设计允许多个进程共享有限的物理内存资源，同时提供了足够的虚拟内存空间，以便运行大型应用程序。通过需求分页、页面置换算法和内存压力管理，Windows能够在物理内存受限的情况下维持系统的稳定性和性能。

参考文献
1、https://zhuanlan.zhihu.com/p/670251533
2、https://zhuanlan.zhihu.com/p/34753439
3、https://learn.microsoft.com/en-us/sysinternals/downloads/vmmap