【STL源码剖析】【2、空间配置器——allocator】

文章目录

  • 1、什么是空间配置器?
    • 1.1设计一个简单的空间配置器,JJ::allocator
  • 2、具备次配置力( sub-allocation)的 SGI 空间配置器
    • 2.1 什么是次配置力
    • 2.2 SGI标准的空间配置器,std::allocator
    • 2.2 SGI特殊的空间配置器,std::alloc
    • 2.3 构造和析构的基本工具:construct()和destroy()
      • 补充:
        • 2.3.1、什么是 **trivial destruct:**
        • 2.3.2、从__destroy_aux来看,他的销毁范围是[first,last),为什么没有销毁最后一个
    • 2.4 空间的配置和释放,std::alloc
    • 2.5 第一级配置器 __malloc_alloc_template剖析
    • 2.6 第二级配置器 __default_alloc_template剖析
      • 2.6.2 自由链表自由在哪?又该如何维护呢?
      • 2.6.3 第二级配置器的部分实现内容
    • 2.7空间配置函数allocate()
      • 2.7.1空间配置函数allocate()实现原理:
      • 2.7.2空间配置函数allocate()代码实现:
    • 2.8 空间释放函数 deallocate()
      • 2.8.1空间释放函数 deallocate()实现原理:
      • 2.8.2空间释放函数 deallocate()代码实现:
    • 2.9 重新填充 free lists
      • 2.9.1重新填充 free lists()实现原理:
      • 2.9.2重新填充 free lists()代码实现:
    • 2.10 内存池 memory pool
      • 2.10.1内存池 memory pool实现原理:
      • 2.10.2内存池 memory pool代码实现:
  • 3、内存 基本处理工具
    • 3.1 uninitialized_copy
    • 3.2 uninitialized_fill
    • 3.3 uninitialized_fill_n
  • 4、总结
  • 5、参考

1、什么是空间配置器?

空间配置器是STL(标准模板库)中的一个重要组件,它的主要作用是高效管理各个容器的空间,包括空间的申请与回收。在程序运行时,内存可能存在于栈上(由系统自动分配)或堆上(由用户自行申请)。如果用户频繁地申请和释放空间而不加以管理,可能会导致内存碎片,从而影响内存使用效率并降低程序效率。为了解决这些问题,STL库提供了空间配置器,其原理类似于利用内存池来提高效率。

1.1设计一个简单的空间配置器,JJ::allocator

jjalloc.h

#include "jjalloc.h"
#include <vector>
#include <iostream>
using namespace std;
int main(){
    int ia[5] = {0,1,2,3,4};
    unsigned int i;
    
    vector<int,JJ::allocator<int>> iv(ia,ia+5);
    for(i = 0;i < iv.size();i++){
        cout << iv[i] << " ";
    }
    cout <<endl;
}

jjalloc.cpp

#ifndef _JJALLOC_
#define _JJALLOC_

#include <new>
#include <cstddef>
#include <cstdlib>
#include <iostream>
#include <climits>
using namespace std;

namespace JJ {
//分配内存空间来存储指定类型的对象
template <class T>
inline T* _allocate(ptrdiff_t size,T*){
    //禁用新的处理器
    set_new_handler(0);  
    //调用全局的operator new来分配内存
    T* tmp = (T*)(::operator new ((size_t)(size * sizeof(T))));
    if(tmp == 0){
        std::cerr << "out of memory" << endl;
        exit(1);
    }
    return tmp;
}

//处理动态分配的内存的释放
template <class T>
inline void _deallocate(T* buffer){
    ::operator delete(buffer);
}

//在已分配但尚未构造的内存中构造一个对象。
//它接受两个参数:
//一个指向 T1 类型对象的指针 p 
//一个 T2 类型的常量引用 value
template <class T1,class T2>
inline void _construct(T1*p ,const T2& value){
    new(p) T1(value);
}

//显式调用对象的析构函数来销毁对象,但不释放内存。
//它接受一个指向 T 类型对象的指针 ptr,并调用该对象的析构函数。
template <class T>
inline void _destroy(T* ptr){
    ptr->~T();
}
//定义allocator的模板类
template <class T>
class allocator{
public:
    //定义类型别名
    typedef T          value_type;
    typedef T*         pointer;
    typedef const T*   const_pointer;
    typedef T&         reference;
    typedef const T&   const_reference;
    typedef size_t     size_type;
    typedef ptrdiff_t  difference_type;
    //从一个类型的分配器“重新绑定”到另一个类型的分配器
    template<class U>
    struct rebind{
        typedef allocator<U> other;
    };
    
    // 用于分配内存来存储 n 个 value_type 类型的对象。
    // 它调用之前定义的 _allocate 函数来执行实际的内存分配,
    // 并将返回的内存地址转换为正确的指针类型。
    pointer allocate(size_type n,const void* hint = 0){
        return _allocate((difference_type)n,(pointer)0);
    }
    
    // 用于释放之前通过 allocate 函数分配的内存。
    //它调用 _deallocate 函数来执行实际的内存释放
    void deallocate(pointer p,size_type n){
        _deallocate(p);
    }
    //在已分配但尚未构造的内存中构造一个对象。
    //它调用 _construct 函数
    void construct(pointer p,const T& value){
        _construct(p,value);
    }
    //显式调用对象的析构函数以销毁对象,但不释放内存。
    //它调用 _destroy 函数来执行此操作
    void destroy(pointer p){
        _destroy(p);
    }
    //返回对象的地址
    pointer address(reference x){
        return (pointer) &x;
    }
    //返回常量对象的地址
    const_pointer const_address(const_reference x){
        return (const_pointer) &x;
    }
    //返回分配器可以分配的最大对象数
    size_type max_size() const{
        return size_type(UINT_MAX/sizeof(T));
    }
};// end of allocator   
    
    
} //end of namespce JJ

#endif //_JJALLOC_

2、具备次配置力( sub-allocation)的 SGI 空间配置器

2.1 什么是次配置力

“次配置力”(sub-allocator)这个概念不是C++标准中的术语,但在某些上下文中,特别是在讨论更复杂的内存管理策略时,可能会使用这个概念。次配置器通常指的是用于管理较小内存块或特定类型对象的配置器。在复杂的内存管理系统中,你可能会有一个主配置器(用于处理大块内存分配)和多个次配置器(用于处理不同类型的对象或更小的内存块)。
次配置器的使用可以提高内存管理的效率,因为它们可以针对特定类型的对象或特定大小的内存块进行优化。例如,一个次配置器可能使用内存池技术来快速分配和回收小块内存,而另一个次配置器可能使用特定的对齐策略来优化特定类型对象的存储。

2.2 SGI标准的空间配置器,std::allocator

虽然 SGI 也配置了 allocatalor,但是它自己并不使用,也不建议我们使用,原因是效率比较 感人,因为它只是在基层进行配置/释放空间而已,而且不接受任何参数。
看一下std::allocator的代码示例:

#ifndef DEFALLOC_H
#define DEFALLOC_H

#include <new.h>
#include <stddef.h>
#include <stdlib.h>
#include <limits.h>
#include <iostream.h>
#include <algobase.h>
template <class T>
inline T* allocate(ptrdiff_t size,T*){
	set_new_handler(0);
	T* tmp = (T*)(::operator new((size_t)(size*(sizeof(T))));
	if(tmp == 0){
		cerr<<"out of memory"<<endl;
		exit(1);
	}
	return tmp;
}
template <class T>
inline void deallocate(T* buffer){
	::operator delete(buffer);
}
template <class T>
class allocator{
public:
	typedef T 			value_type;
	typedef T* 			pointer;
	typedef const T* 	const_pointer;
	typedef T& 			reference;
	typedef const T& 	const_reference;
	typedef size_t		size_type;
	typedef ptrdiff_t	difference_type;	

	pointer allocate(size_type n){
		return ::allocate((difference_type)n,(pointer)0);
	}
	void deallocate(pointer p){
		::deallocate(p);
	}
	pointer address(reference x){
		return (pointer)&x;
	}
	const_pointer const_address(const_refernce x){
		return (const_pointer)&x;
	}
	//确定一个“页面”或“块”的大小
	size_type int_page_size(){
		return max(size_type(1),size_type(4096/sizeof(T)));
	}
	size_type max_size() const{
		return max(size_type(1),size_type(UINT_MAX/sizeof(T)));
	}
};
class allocator<void>{
public:
	typedef void* pointer;
}
#endif //DEFALLOC_H

从源码可以看到allocator只是基层内存配置/释放行为的简单包装,在效率上没有任何的提升。

2.2 SGI特殊的空间配置器,std::alloc

一般而言,对C++内存配置操作和释放操作

class Foo{...};
Foo* pf = new Foo;   //配置内存,然后构造对象
delete pf;			 //将对象析构,然后释放内存

为了精密分工,STL allocator决定将这两阶段的操作区分开来,
内存配置操作由alloc:allocate()负责,内存释放操作由alloc:deallocate()负责;
对象构造操作由::construct()负责,对象析构操作由::destroy()负责。
SGI内含有以下两个文件:

#include<stl_alloc.h>           //负责内存空间的配置与释放
#include<stl_construct.h>       //负责对象内容的构造与析构

在这里插入图片描述

图1. STL配置器的框架

2.3 构造和析构的基本工具:construct()和destroy()

以下是<stl_construct.h>的部分内容:

#include<new.h> //欲使用placement new,需要包含次文件
template <class T1,class T2>{
inline void construct(T1* p,const T2& value){
	new(p) T1(value);  //placement new
}

//destroy有2个版本
//版本1,接受一个指针;
template<class T1>
inline void destroy(T* pointer){
	pointer->~T();    
}
//版本2,接受2个迭代器,此函数设法找出元素的数值型别
template<class ForwardIterator>
inline void destroy(ForwardIterator first,ForwardIterator last){
	__destroy(first,last,value_type(first));
}

//判断元素的数值类型,是否有trivial destructor
template<class ForwardIterator, class T>
inline void __destroy(ForwardIterator first,ForwardIterator last, T*){
	typedef typename __type_traits<T>::has_trivial_destructor trivial_destructor;
	__destroy_aux(first,last,trivial_destructor());
}
//如果元素的数值型别有 non-trivial destructor
template<class ForwardIterator>
inline void __destroy_aux(ForwardIterator first,ForwardIterator last, __false_type){
	for(;first<last;++first)
		destroy(& *first);
}
//如果元素的数值型别有 trivial destructor
template<class ForwardIterator>
inline void __destroy_aux(ForwardIterator first,ForwardIterator last, __true_type){}

//destroy()第二版本对迭代器char* wchar_t*的特化版
inline void destroy(char*,char*){}
inline void destroy(wchar_t*,wchar_t*){}

construct()接受一个指针p和一个初值value,该函数的用途就是将初值设定到指针所指的空间上。
destruct()有2个版本。版本1接受一个指针,准备将该指针所指之物析构调,直接调用该对象的析构函数即可;版本2接受first,last两个迭代器,讲[first,last)范围内的对象都析构掉。做了一些处理,万一对象有(trivial destructor),每一次调用他们,会极大的降低效率。所以做了一些处理来判断析构函数是否是trivial destruct,如果是的话,什么也不做就立马结束。如果不是的话,以循环方式巡访整个范围,在循环中每访问一个对象就调用第一个版本的destroy()。
在这里插入图片描述

图2. construct()和destroy()函数

补充:

2.3.1、什么是 trivial destruct:
“trivial destructor”指的是用户没有自定义析构函数,而是由系统生成的析构函数。这种析构函数在对象生命周期结束时
被调用,但由于用户没有定义任何特定的析构逻辑,它实际上并不执行任何特定的清理或资源释放操作。因此,它被称
为“trivial”,即无用的或无关紧要的析构函数。
相对而言,如果用户为某个类定义了特定的析构函数,那么这个析构函数就被称为“non-trivial destructor”。在这种情况
下,析构函数可能会执行一些必要的清理操作,如释放动态分配的内存、关闭文件句柄或断开网络连接等。需要注意的是,即
使析构函数是trivial的,它仍然会在对象生命周期结束时被自动调用。这是因为C++的析构机制确保了每个构造的对象最终都会
被正确地销毁。然而,对于trivial destructor来说,由于它不执行任何实质性的操作,频繁地调用它可能会对性能产生一定的
影响。因此,在一些高级编程场景中,可能会使用特定的技术或工具来优化或避免不必要的trivial destructor调用。
2.3.2、从__destroy_aux来看,他的销毁范围是[first,last),为什么没有销毁最后一个

在C++中,迭代器通常遵循“左闭右开”的原则,即迭代器first指向的范围是包括的,而迭代器last指向的位置是不包括的。这意味着 last迭代器实际上指向的是范围之外的第一个位置 ,而不是范围内的最后一个元素的下一个位置。因此,循环在first小于last时继续,这样last指向的元素就不会被包括在销毁的范围内。
这种设计有几个原因:
(1)一致性:C++标准库中的许多算法和容器都遵循这种 “左闭右开” 的范围定义方式,保持一致性使得代码更容易理解和使用。
(2)避免越界访问(安全性):如果尝试访问或销毁last指向的元素,那么可能会越界访问内存,导致未定义行为。保持“左闭右开”的范围定义可以避免这种潜在的问题。
(3)效率:在某些情况下,last可能正好指向一个容器的末尾之后的位置,这个位置本身并不存储任何对象,因此没有销毁的必要。
(4)语义清晰:对于用户来说,知道last不指向要销毁的最后一个元素,可以更容易地理解函数的行为,特别是当使用自定义迭代器或特殊容器时。
综上所述,不将last销毁是出于一致性、安全性、效率和语义清晰性的考虑。在设计类似的算法或函数时,通常应该遵循这些原则来确保代码的正确性和可维护性。

2.4 空间的配置和释放,std::alloc

2.3讲的是对象构造行为与对象析构行为,现在来看一下内存的配置与释放。这一部分代码都在<stl_alloc.h>中。stl对此的设计哲学是:

  • (1)向 system heap 要求空间
  • (2)考虑多线程 (multi-threads) 状态
  • (3)考虑内存不足时的应变措施
  • (4)考虑过多“小型区块”可能造成的内存碎片 (fragment) 问题
    考虑到小型区块可能造成的内存破碎问题,SGI 为此设计了双层级配置器。当配置区块超过 128bytes 时,称为足够大,使用第一级配置器,直接使用 malloc() 和 free()。
    当配置区块不大于 128bytes 时,为了降低额外负担,直接使用第二级配置器,采用复杂的 memory pool 处理方式。
#ifdef __USE_MALLOC
...
typedef __malloc_alloc_template<0> malloc_alloc;
typedef malloc_alloc alloc; //另alloc为第一级配置器
#else
...
typedef __default_alloc_template<__NODE_ALLOCATOR_THREADS,0> alloc;
#endif /*  !__USE_MALLOC*/

其中, __malloc_alloc_template 就是第一级配置器; __default_alloc_template 就是第二级配置器。无论使用第一级配接器(malloc_alloc_template)或是第二级配接器 (default_alloc_template),alloc 都为其包装了接口,使其能够符合 STL 标准。

template<class T,class Alloc>
class simple_alloc{
public:
	static T*allocate(size_t n)
	{return 0==n?:(T*)Alloc::allocate(n*sizeof(T));}
	static T*allocate(void)
	{return (T*) Alloc::allocate(sizeof(T));}
	static T*deallocate(T* p,size_t n)
	{if(0!=n) Alloc::deallocate(p,n*sizeof(T));}
	static void deallocate(T* p)
	{Alloc::deallocate(p,sizeof(T));}
};

在这里插入图片描述

图3. 第一级配置器与第二级配置器

在这里插入图片描述

图4. 第一级配置器与第二级配置器包装接口和运用方式

2.5 第一级配置器 __malloc_alloc_template剖析

#if 0
#  include<new>
#  define __THROW_BAD_ALLOC throw bad_alloc
#elif !defined(__THROW_BAD_ALLOC)
#  include<iostream.h>
#  define __THROW_BAD_ALLOC cerr << "out of memory"<<endl; exit(1)
#endif

template <int inst>
class __malloc_alloc_template{
private:
//以下都是函数指针,所代表的函数将用来处理内存不足的情况
//oom:out of memory
static void *oom_malloc(size_t);
static void *oom_realloc(void* ,size_t);
static void (* __malloc_alloc_oom_handler());

public:

static void *allocate(size_t n)
{
	//第一级配置器直接使用malloc()
	void *result = malloc(n);
	if(0 == result) result = oom_malloc(n);
	return result;
}
static void deallocate(void *p ,size_t /* n */)
{
	//第一级配置器直接使用free()
	free(p);
}
static void* reallocate(void *p,size_t/*old_sz*/,size_t new_sz){
	//第一级配置器直接使用realloc()
	void * result = realloc(p,new_sz);
	//当以下无法满足要求时,改用oom_realloc()
	if(0 == result) result = oom_realloc(p,new_sz);
	return result;
}
static void(* set_malloc_handler(void(*f)()))()
{
	void(*old) = __malloc_alloc_oom_handler;
	_malloc_alloc_oom_handler = f;
	return (old);
}
};
//malloc_alloc out-of-memory handling
//初值为0,有待客段设定
template <int inst>
void (* __malloc_alloc_template<inst>::_malloc_alloc_oom_handler)() = 0;

template <int inst>
void * __malloc_alloc_template<inst>::oom_malloc(size_t n)
{
	void(* my_malloc_handler)();
	void * result;
	for(;;){//不断地尝试释放,配置,再释放,再配置
		my_malloc_handler = __malloc_alloc_oom_handler;
		if(0 == my_malloc_handler) {__THROW_BAD_ALLOC;}
		(*my_malloc_handler)(); //调用处理例程,企图释放内存
		result = malloc(n);     //再次尝试配置内存
		if(result) return (result);
	}
}

template <int inst>
void * __malloc_alloc_template<inst>::oom_realloc(void *p ,size_t n)
{
	void(* my_malloc_handler)();
	void * result;
	for(;;){.                       //不断地尝试释放,配置,再释放,再配置
		my_malloc_handler = __malloc_alloc_oom_handler;
		if(0 == my_malloc_handler) {__THROW_BAD_ALLOC;}
		(*my_malloc_handler)();     //调用处理例程,企图释放内存
		result = realloc(p,n);      //再次尝试配置内存
		if(result) return (result);
	}
}
//以下直接将参数inst指定为0
typedef __malloc_alloc_template<0> malloc_alloc;

(1)第一级配置器以 malloc(), free(), realloc() 等 C 函数执行实际的内存配置、释放和重配置 操作,并实现类似 C++ new-handler 的机制(因为它并非使用 ::operator new 来配置内存, 所以不能直接使用C++ new-handler 机制)。
(2)SGI 第一级配置器的 allocate() 和 reallocate() 都是在调用malloc() 和 realloc() 不成功 后,改调用 oom_malloc() 和oom_realloc()。
(3)oom_malloc() 和 oom_realloc() 都有内循环,不断调用“内存不足处理例程”,期望某次 调用后,获得足够的内存而圆满完成任务,哪怕有一丝希望也要全力以赴申请啊,如果用户并 没有指定“内存不足处理程序”,这个时候便无力乏天,真的是没内存了,STL 便抛出异常。或 调用exit(1) 终止程序。

2.6 第二级配置器 __default_alloc_template剖析

第二级配置器多了一些机制,专⻔针对内存碎片。内存碎片化带来的不仅仅是回收时的困难,配置也是一个负担,额外负担永远无法避免,毕竟系统要划出这么多的资源来管理另外的资源,但是区块越小,额外负担率就越高。
在这里插入图片描述

图5. 索取内存,需要cookie记录大小
### 2.6.1 SGI 第二级配置器到底解决了多少问题呢? 简单来说 SGI第二级配置器的做法是:**sub-allocation (层次架构):** 前面也说过了,SGI STL 的第一级配置器是直接使用 malloc(), free(), realloc() 并配合类似 C++ new-handler 机制实现的。第二级配置器的工作机制要根据区块的大小是否大于 128bytes 来采取不同的策略,这种方法叫做层次配置。

在这里插入图片描述

图6. 层次配置

在这里插入图片描述

图7. 内存池原理

二级配置器内存池的原理主要涉及两个方面:内存池的管理两级配置器的使用
(1)首先,内存池的主要作用是在应用程序初始化时分配一块连续的内存空间,并将其划分为多个固定大小的块(也称为“内存池对象”)。这些块可以被反复使用,从而避免了频繁地向操作系统请求新的内存空间。当应用程序需要分配新的内存时,它可以直接从预先分配好的内存池中取出一个可用的块,而不是向操作系统申请。这样可以减少系统开销,提高程序效率,同时也可以避免内存碎片和泄漏等问题。
(2)其次,二级配置器则是对内存池管理的一种优化策略。它采用两级策略来配置内存:当所需内存区块小于某个阈值(如128字节)时,使用第二级配置器进行管理。这个配置器会一次性配置一大块内存,并维护对应的空闲链表(free-list)。当下次有相同大小的内存需求时,直接从空闲链表中取出。如果有小的内存区块被释放,它们会被回收到空闲链表中,以供后续使用。这种策略有效地避免了由于太多小区块造成的内存碎片问题,同时减少了配置时的额外负担。
具体来说,二级配置器会维护多个空闲链表,每个链表管理不同大小的内存块。例如,可以维护16个空闲链表,分别管理大小为8、16、24…120、128字节的数据块。当需要分配内存时,根据所需大小计算索引,从对应的空闲链表中取出内存块。当内存块被释放时,它会被回收到对应的空闲链表中。
最后,内存池的管理涉及对内存空间的分配和释放。当向系统申请一块内存放入内存池时,会使用start和end指针来标记这块空间的起始和结束位置。每分配一部分内存,start指针就会向后移动相应的距离。当start和end指针重合时,表示内存池中的空间已全部分配完毕。释放内存时,需要将释放的内存块归还到内存池中,并更新start指针的位置。
综上所述,二级配置器内存池的原理通过预分配连续内存空间、划分固定大小的块、使用两级配置器以及维护空闲链表等方式,实现了对内存的高效管理和利用,避免了内存碎片和泄漏等问题,提高了程序的运行效率。

2.6.2 自由链表自由在哪?又该如何维护呢?

我们知道,一方面,自由链表中有些区块已经分配给了客端使用,所以 free_list 不需要再指向它们;另一方面,为了维护 free-list,每个节点还需要额外的指针指向下一个节点。
那么问题来了,如果每个节点有两个指针?这不就造成了额外负担吗?本来我们设计 STL 容 器就是用来保存对象的,这倒好,对象还没保存之前,已经占据了额外的内存空间了。
STL给出的解决办法是:

union obj{
	union obj* free_list_link;
	char client_data[1]
}

在 union obj 中,定义了两个字段,再结合上图来分析:
从第一个字段看,obj 可以看做一个指针,指向链表中的下一个节点;
从第二个字段看,obj 可以也看做一个指针,不过此时是指向实际的内存区。
一物二用的好处就是不会为了维护链表所必须的指针而造成内存的另一种浪费,

在二级配置器中的自由链表(free-list),**“自由”**体现在链表中的内存块是未被应用程序当前使用的,即它们是“空闲”的,随时可以被分配给需要内存的空间。自由链表的存在允许内存块在被释放后能够被回收和重用,而不是直接归还给操作系统,从而提高了内存的使用效率。
自由链表的维护主要涉及以下几个方面:
(1) 插入操作:当释放一个内存块时,该内存块会被插入到相应的自由链表中。通常,链表会按照内存块的大小进行划分,每个链表管理特定大小的内存块。因此,释放内存块时,需要根据其大小计算它应该插入到哪个链表中。
(2) 删除操作:当应用程序请求分配内存时,二级配置器会从自由链表中删除一个内存块,并将其分配给应用程序。这通常涉及到从链表中取出第一个节点(或根据某种策略选取一个节点)并更新链表的结构。
(3) 链表合并:如果两个相邻大小的自由链表都只有少量的内存块,为了提高内存管理的效率,可能会将它们合并成一个更大的链表。这样可以减少链表的数量,简化管理。
(4) 内存块合并:当连续的内存块都被释放时,可以考虑将它们合并成一个更大的内存块,以减少碎片并便于后续的分配。
(5) 内存块分割:当请求的内存大小与自由链表中现有内存块的大小不完全匹配时,可能需要将现有的内存块分割成两部分,一部分用于满足当前的请求,另一部分作为新的空闲内存块加入自由链表。
(6) 链表大小调整:随着程序的运行,某些大小的内存块可能会被频繁地申请和释放,导致某些链表特别长或特别短。此时,可以根据实际情况调整链表的大小,例如通过合并或分割链表来平衡内存的使用。
(7) 内存泄露检查:定期检查自由链表中的内存块是否都被正确管理,防止因为编程错误导致的内存泄露。
为了实现这些操作,二级配置器通常会维护一些数据结构来跟踪每个链表的状态,例如链表的头指针、链表长度、已分配和未分配的内存块数量等。这些数据结构可以帮助配置器高效地管理内存块,确保它们能够在需要时被正确地分配和回收。
总的来说,自由链表的维护涉及到内存块的插入、删除、合并和分割等操作,以及链表本身的调整和优化。这些操作共同确保了内存的有效利用和程序的稳定运行。

2.6.3 第二级配置器的部分实现内容

enum{__ALIGN = 8};                        //小型区块的上调边界
enum{__MAX_BYTES = 128};                  //小型区块的上限
enum{__NFREELISTS = __MAX_BYTES/__ALIGH}; //free_lists的个数

template <bool threads,int inst>
class __default_alloc_template{
private:
//ROUND UP
static size_t ROUND_UP(size_t bytes){
	return (((bytes)+ __ALIGN_1) & ~(__ALIGN-1));
}
private:
	union obj{ //free lists的节点构造
		union obj * free_list_link;
		char clinet_data[1]
	};
private:
	//16个free-lists
	static obj* volatile free_list[__NFREELISTS];
	//根据区块大小,决定使用第n号lists
	static size_t FREELIST_INDEX(size_t bytes){
		return (((bytes) + __ALIGN -1)/__ALIGN -1);
	}
static void *refill(size_t n)
//配置一大块空间,可容纳nobjs个大小为size的区域
//如果配置nobjs个区域有所不便,nobjs可能会降低
static char* chunk_alloc(size_t size,int &nobjs);
//chunk allocation state
static char* start_free;  //内存池起始位置
static char* end_free;    //内存池结束位置
static char* heap_size;

public:
	static void * allocate(size_t n)
	static void * deallocate(void *p,size_t n)
	static void * reallocate(void *p,size_t old_sz,size_t new_sz);
};
//以下是 static data member的定义与初值设定
template<bool threads,int inst>
char *__default_alloc_template<threads,inst>::start_free = 0;

template<bool threads,int inst>
char *__default_alloc_template<threads,inst>::end_free = 0;

template<bool threads,int inst>
char *__default_alloc_template<threads,inst>::heap_size = 0;

template<bool threads,int inst>
__default_alloc_template<threads,inst>::obj* volatile
__default_alloc_template<threads,inst>::free_list[__NFREELISTS]={0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0};
}

2.7空间配置函数allocate()

我们知道第二级配置器拥有配置器的标准接口函数 allocate()。此函数首先判断区块的大小, 如果大于 128bytes –> 调用第一级配置器;小于128bytes–> 就检查对应的 free_list(如果没 有可用区块,就将区块上调至 8 倍数的边界,然后调用 refill(), 为 free list 新填充空间。

2.7.1空间配置函数allocate()实现原理:

allocate()代码实现了一个简单的内存分配策略,它首先检查请求的内存大小是否超过预设的阈值,如果是则调用另一个配置器进行分配。对于小块内存,它使用一组free lists来快速分配和回收固定大小的内存块。当free list为空时,它会调用 refill 函数来重新填充free list。这种策略有助于减少内存碎片,并提高小块内存的分配和回收效率。

2.7.2空间配置函数allocate()代码实现:

//n must be >0
static void *allocate(size_t n){
	obj* volatile *my_free_list;
	obj* result;
	//大于128就调用第一级配置器
	if(n > (size_t)__MAX_BYTES){
		return (malloc_alloc::allocate(n));
	}
	//寻找16个free lists中符合的一个
	my_free_list = free_list + FREELIST_INDEX(n);
	result = *my_free_list;
	if(result == 0){
	//没找到可用的free lists,准备重新填充 free lsts
		void *r = refill(ROUND_UP(n));
		return r;
	}
	//调整free lists
	*my_free_list = result->free_list_link;
	return(result);
};

在这里插入图片描述

图8. allocate()函数工作原理

2.8 空间释放函数 deallocate()

身为一个配置器,__default_alloc_template 拥有配置器标准接口函数 deallocate()。该函数首先判断区块大小,大于 128bytes就调用第一级配置器, 小于 128bytes就找出对应的free lists,将区块进行回收。

2.8.1空间释放函数 deallocate()实现原理:

这个函数是一个自定义内存分配器的一部分,用于将释放的内存块添加到适当的空闲链表中,以便将来可以重新使用。对于大于某个阈值的内存块,它使用另一个(可能是更通用的)分配器来释放内存。这种自定义的内存分配器通常用于优化特定类型的内存使用,例如小对象的快速分配和释放。

2.8.2空间释放函数 deallocate()代码实现:

//p不可以是0
static void *allocate(void* p,size_t n){
	obj *q = (obj*)p;
	obj *volatile *my_free_list;
	
	//大于128就调用第一级配置器
	if(n > (size_t)__MAX_BYTES){
		malloc_alloc::deallocate(p,n);
		return ;
	}
	//寻找对应的free list
	my_free_list = free_list + FREELIST_INDEX(n);
	//调整free list,收回区块
	q->free_list_link = *my_free_list;
	*my_free_list = q;
}

在这里插入图片描述

图9. deallocate()函数工作原理

2.9 重新填充 free lists

先前说过的allocate()当它发现freelist 中没有可用区块了时, 就调用 refill(},准备为freelist重新填充空间.新的空间将取自内存池(经由
chu出_alloc()完成)。缺省取得20 个新节点(新区块),但万一内存池空间不 足,获得的节点数(区块数)可能小于 20:

2.9.1重新填充 free lists()实现原理:

这个函数的主要目的是为自定义内存分配器“refill”空闲链表。它首先分配一个较大的内存块(chunk),然后将其分割成多个较小的对象,并将这些对象链接成一个空闲链表。最后,它返回第一个对象的地址给调用者,以便该对象可以被分配给客户端。这种策略通常用于优化内存分配和释放,特别是在需要频繁分配和释放小块内存的情况下。

2.9.2重新填充 free lists()代码实现:

(1)当发现 free_list 中没有可用区块时,就会调用 refill() 为free_list 重新填充空间;
(2)新的空间将取自内存池(经由 chunk_alloc() 完成);
(3)缺省取得20个新节点(区块),但万一内存池空间不足,获得的节点数可能小于 20。

/* Returns an object of size n, and optionally adds to size n free list.*/
/* We assume that n is properly aligned.                                */
/* We hold the allocation lock.                                         */
template <bool threads, int inst>
void* __default_alloc_template<threads, inst>::refill(size_t n)
{
    int nobjs = 20;
    char * chunk = chunk_alloc(n, nobjs);
    obj * __VOLATILE * my_free_list;
    obj * result;
    obj * current_obj, * next_obj;
    int i;

    if (1 == nobjs) 
  return(chunk);

    my_free_list = free_list + FREELIST_INDEX(n);

    /* Build free list in chunk */
      result = (obj *)chunk;
      *my_free_list = next_obj = (obj *)(chunk + n);      // my_free_list 跳过第一块内存  从第2块开始     result指向第一块  返回给客户端
      for (i = 1; ; i++) {
        current_obj = next_obj;
        next_obj = (obj *)((char *)next_obj + n);
        if (nobjs - 1 == i) {                           // 19 块空间 放到相应的 free_list 里面   
            current_obj -> free_list_link = 0;
            break;
        } else {
            current_obj -> free_list_link = next_obj;
        }
      }
    return(result);
}

2.10 内存池 memory pool

首先,我们要知道从内存池中取空间给 free_list 使用,是 chunk_alloc() 在工作,它是怎么工 作的呢?
我们先来分析 chunk_alloc() 的工作机制:chunk_alloc() 函数以 end_free – start_free 来判断内存池的“水量”。具体逻辑如下。
在这里插入图片描述

图10. chunk_alloc()函数工作原理
如果第一级配置器的 malloc() 也失败了,就发出 bad_alloc 异常。

2.10.1内存池 memory pool实现原理:

在这里插入图片描述

图11. memory_pool()函数工作原理
举个例子: 假设程序一开始,客端就调用 chunk_alloc (32, 20), 于是 malloc()配置 40 个 32 bytes 区块,其中第 1 个交出,另 19 个交给free_list[3]维护,余 20 个留给内存池。接下来客端调用chunk_alloc(64,20),此时 free_list[7]空空如也,必须向内存池要求支持。内存池只够供应 ( 32*20)/64=10 个 64 bytes 区块,就把这 10 个区块返回,第 1 个 交给客端,余 9 个由 free_list[7]维护。此时内存池全空。接下来再调用 chunk_alloc(96, 20),此时 free_list[11]空空如也,必须向内存池要求支持, 而内存池此时也是空的,于是以 malloc()配置40+n (附加量)个96bytes区块,其中第 1 个交出,另 19 个交给 free_list[11]维护,余 20+n (附加量)个区块 留给内存池。

2.10.2内存池 memory pool代码实现:

template <bool __threads, int __inst>
char*
__default_alloc_template<__threads, __inst>::_S_chunk_alloc(size_t __size, 
                                                            int& __nobjs)
{
    char* __result;
    size_t __total_bytes = __size * __nobjs;
    size_t __bytes_left = _S_end_free - _S_start_free;    //内存池剩余空间
 
    if (__bytes_left >= __total_bytes)                    //满足内存需求
        {
        __result = _S_start_free;
        _S_start_free += __total_bytes;
        return(__result);
    } 
    else if (__bytes_left >= __size)                     //满足至少一个区块的需求
    {
        __nobjs = (int)(__bytes_left/__size);
        __total_bytes = __size * __nobjs;
        __result = _S_start_free;
        _S_start_free += __total_bytes;
        return(__result);
    } 
    else                                                //完全不满足需求
    {
        size_t __bytes_to_get = 
            2 * __total_bytes + _S_round_up(_S_heap_size >> 4);
                                                        //利用剩下的一点点零头.
        if (__bytes_left > 0) {
            _Obj* __STL_VOLATILE* __my_free_list =
                        _S_free_list + _S_freelist_index(__bytes_left);
 
            ((_Obj*)_S_start_free) -> _M_free_list_link = *__my_free_list;
            *__my_free_list = (_Obj*)_S_start_free;
        }
        _S_start_free = (char*)malloc(__bytes_to_get);
        if (0 == _S_start_free) 
        {
            size_t __i;
            _Obj* __STL_VOLATILE* __my_free_list;
            _Obj* __p;
            //看free-list是否还有内存区块
            for (__i = __size; __i <= (size_t) _MAX_BYTES; __i += (size_t) _ALIGN)
            {
                __my_free_list = _S_free_list + _S_freelist_index(__i);
                __p = *__my_free_list;
                //有的话,编入,并循环调用自身,直至彻底使用所有零头
                if (0 != __p) 
                {
                    *__my_free_list = __p -> _M_free_list_link;
                    _S_start_free = (char*)__p;
                    _S_end_free = _S_start_free + __i;
                    return(_S_chunk_alloc(__size, __nobjs));                //反复压榨内存
                }
            }
            //执行到了这一步,说明没内存了,_S_end_free初始化置于零,并调用第一级配置器配置内存重新设定_S_start_free。
            _S_end_free = 0;    
            _S_start_free = (char*)malloc_alloc::allocate(__bytes_to_get);
        }
        _S_heap_size += __bytes_to_get;
        _S_end_free = _S_start_free + __bytes_to_get;
        //
        return(_S_chunk_alloc(__size, __nobjs));
    }
}

3、内存 基本处理工具

STL定义了五个全局函数,分别是construct(),destroy(),uninitialized_copy(),uninitialized_fill(),
uninitialized_fill_n()。构造,析构函数已经说过,现在考虑后面3个函数。

3.1 uninitialized_copy

std::uninitialized_copy()
std::uninitialized_copy() 用于从输入范围复制元素到未初始化的内存区域。它接收两个输入迭代器(表示要复制的元素的范围)和一个指向目标内存区域的原始指针。
函数原型可能类似于:

template<class InputIt, class ForwardIt>  
ForwardIt uninitialized_copy(InputIt first, InputIt last, ForwardIt result);

first 和 last 定义了输入范围的开始和结束。
d_first 是指向目标内存区域的原始指针。
这个函数会将 [first, last) 范围内的所有元素复制到从 d_first 开始的内存区域,并返回指向目标区域中最后一个复制元素的下一个位置的原始指针。

3.2 uninitialized_fill

std::uninitialized_fill() 用于在未初始化的内存区域中填充指定值。它接收一个原始指针(指向目标内存区域的开始)和一个表示要填充的值的参数,以及要填充的元素数量。
函数原型可能类似于:

template<class ForwardIt, class T>  
void uninitialized_fill(ForwardIt first, ForwardIt last, const T& value);

first 和 last 定义了目标内存区域的开始和结束。
value 是要填充的值。
这个函数会将 [first, last) 范围内的所有元素初始化为 value。

3.3 uninitialized_fill_n

std::uninitialized_fill_n() 类似于 std::uninitialized_fill(),但它允许你指定要填充的元素数量,而不是通过两个迭代器来定义范围。
函数原型可能类似于:

template<class ForwardIt, class Size, class T>  
ForwardIt uninitialized_fill_n(ForwardIt first, Size n, const T& value);

first 是指向目标内存区域的原始指针。
n 是要填充的元素数量。
value 是要填充的值。
这个函数会将从 first 开始的 n 个元素初始化为 value,并返回指向最后一个填充元素的下一个位置的原始指针。

4、总结

天堂有路你不走,地狱无门你自来。

5、参考

1、《STL源码剖析》
2、《C++八股文小贺》(图片均来自于他)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/466818.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

ARM汇编与逆向工程 蓝狐卷 基础知识

文章目录 前言内容简介作者简介译者简介目录 前言 与传统的CISC&#xff08;Complex Instruction Set Computer&#xff0c;复杂指令集计算机&#xff09;架构相比&#xff0c;Arm架构的指令集更加简洁明了&#xff0c;指令执行效率更高&#xff0c;能够在更低的功耗下完成同样…

13 秒插入 30 万条数据,这才是 Java 批量插入正确的姿势!

本文主要讲述通过MyBatis、JDBC等做大数据量数据插入的案例和结果。 30万条数据插入插入数据库验证 实体类、mapper和配置文件定义 User实体 mapper接口 mapper.xml文件 jdbc.properties sqlMapConfig.xml 不分批次直接梭哈 循环逐条插入 MyBatis实现插入30万条数据 J…

python redis中blpop和lpop的区别

python redis中lpop()方法是获取并删除左边第一个对象。 def lpop(self,name: str,count: Optional[int] None,) -> Union[Awaitable[Union[str, List, None]], Union[str, List, None]]:"""Removes and returns the first elements of the list name.By de…

2258: 【搜索】【广度优先】最少转弯问题

题目描述 给出一张地图&#xff0c;这张地图被分为nm&#xff08;n,m<100&#xff09;个方块&#xff0c;任何一个方块不是平地就是高山。平地可以通过&#xff0c;高山则不能。现在你处在地图的&#xff08;x1,y1&#xff09;这块平地&#xff0c;问&#xff1a;你至少需要…

Vulnhub - Morpheus

希望和各位大佬一起学习&#xff0c;如果文章内容有错请多多指正&#xff0c;谢谢&#xff01; 个人博客链接&#xff1a;CH4SER的个人BLOG – Welcome To Ch4sers Blog Morpheus 靶机下载地址&#xff1a;Matrix-Breakout: 2 Morpheus ~ VulnHub 0x01 信息收集 Nmap扫描…

Spring学习记录

为什么要学Spring&#xff1f; 在回答这个问题时&#xff0c;我们先来看看现在的Java程序是如何实现的&#xff0c;以最简单的服务层与持久层为例&#xff0c;其遵循接口与具体实现类的这种方式&#xff1a; Service层接口&#xff1a;BookService.java package service; pu…

mysql笔记:22. 事务隔离级别的一种通俗讲解

事务隔离级别&#xff0c;是为了解决多个并行事务竞争导致的数据安全问题的一种规范。具体来说&#xff0c;多个事务竞争可能会产生三种不同的现象。假设有两个事务T1、T2同时执行&#xff0c;有如下三种不同的情形&#xff1a; T1可能会读到T2未提交的数据&#xff0c;但是未…

粤嵌6818开发板通过MobaXterm使用SSH连接开发板

链接&#xff1a;https://pan.baidu.com/s/18ISP4Ub1HtQx6jCvTQTUHw?pwdfjmu 提取码&#xff1a;fjmu 1.把SSH_config.tar.bz 下载到开发板中 2.解压 SSH_config.tar.bz 解压命令&#xff1a;tar -xzvf SSH_config.tar.bz 3.配置SSH 进入SSH/openssh目录&am…

关于Zookeeper分布式锁

背景 之前说到分布式锁的实现有三种 1、基于数据库实现的分布式锁 2、Redis分布式锁 3、Zookeeper分布式锁 前者redis分布式锁博客已具体介绍&#xff0c;此博客最终决定补齐关于Zookeeper分布式锁的实现原理。 简述 Zoopkeeper&#xff0c;它是一个为分布式的协调服务&…

Vertex cover preprocessing for influence maximization algorithms

Abstract 影响力最大化问题是社交网络分析中的一个基本问题&#xff0c;其目的是选择一小组节点作为种子集&#xff0c;并在特定的传播模型下最大化通过种子集传播的影响力。本文研究了独立级联模型下影响力最大化算法中执行顶点覆盖作为预处理的效果。所提出的方法从主要计算过…

考研复习C语言进阶(4)

1. 为什么存在动态内存分配 我们已经掌握的内存开辟方式有&#xff1a; int val 20;//在栈空间上开辟四个字节 char arr[10] {0};//在栈空间上开辟10个字节的连续空间 但是上述的开辟空间的方式有两个特点&#xff1a; 1. 空间开辟大小是固定的。 2. 数组在申明的时候&#…

Stm32-使用TB6612驱动电机及编码器测速

这里写目录标题 起因一、电机及编码器的参数二、硬件三、接线四、驱动电机1、TB6612电机驱动2、定时器的PWM模式驱动电机 五、编码器测速1、定时器的编码器接口模式2、定时器编码器模式测速的原理3、编码器模式的配置4、编码器模式相关代码5、测速方法 六、相关问题以及解答1、…

软件测试入门基础

说到软件测试&#xff0c;那么首先得和没有基础的同学们&#xff0c;讲解一下&#xff0c;平时我们使用的那些app&#xff0c;比如淘宝&#xff0c;微信是怎么进行交互的呢&#xff1f;在淘宝上下个订单&#xff0c;按钮按出去为什么就能下单成功呢&#xff1f;微信看朋友圈&am…

组建对等网

一、概念 对等网络&#xff08;Peer-to-Peer, P2P&#xff09;是一种分布式网络架构&#xff0c;其中每个参与节点&#xff08;称为"对等体"或"节点"&#xff09;既可以作为客户端也可以作为服务器&#xff0c;直接与网络中的其他节点分享资源&#xff08…

windows上安装虚拟机及搭建Linux环境

虚拟机的安装 VMware Workstation Player(虚拟机)&#xff0c;下载网址如下: VMware Workstation Player | VMwarehttps://www.vmware.com/content/vmware/vmware-published-sites/us/products/workstation-player.html.html?srcWWW_Player7Pro_US_HPPromo_Introducing 进入网…

8.Python从入门到精通—Python 字符串,转义字符,字符串运算符

8.Python从入门到精通—Python 字符串,转义字符,字符串运算符 Python 字符串创建字符串访问字符串中的字符字符串切片字符串操作符字符串方法 Python 转义字符Python字符串运算符 Python 字符串 在 Python 中&#xff0c;字符串是一种基本数据类型&#xff0c;用于表示文本数据…

深度学习pytorch——基本数据类型创建Tensor(持续更新)

声明&#xff1a;本深度学习笔记基于课时18 索引与切片-1_哔哩哔哩_bilibili学习而来 All is about Tensor 定义&#xff1a;Tensors are simply mathematical objects that can be used to describe physical properties, just like scalars and vectors. In fact tensors a…

地址转换函数(ip地址在计算中的识别方式,ipv4与ipv6)

ip地址在计算中的识别方式 ip地址如192.168.3.103是字符串 在计算机中该字符串ip用整型保存并识别。 ipv4与ipv6 ipv4 有四组&#xff0c;每组一个字节&#xff0c;一共4x832位 ipv4一共有 2^32 42 9496 7296 个地址。 ipv6 IPv6是由八组&#xff0c;每组四位16进制数字…

Java:设计模式

文章目录 参考简介工厂模式简单工厂模式工厂方法模式抽象工厂模式总结 单例模式预加载懒加载线程安全问题 策略模式 参考 知乎 简介 总体来说设计模式分为三类共23种。 创建型模式&#xff0c;共五种&#xff1a;工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模…

【晴问算法】入门篇—贪心算法—区间选点问题

题目描述 给定n个闭区间&#xff0c;问最少需要确定多少个点&#xff0c;才能使每个闭区间中都至少存在一个点。 输入描述 输出描述 输出一个整数&#xff0c;表示最少需要确定的点的个数。 样例1输入 3 1 4 2 6 5 7输出 2 解释 至少需要两个点&#xff08;例如3和5&#xff…