研究背景:
在内存容量飞速增长的背景下,使用小页管理内存会带来巨大的内存管理开销(地址转换开销高)。近些年来不少研究尝试给应用分配大段连续区域,或者改善页表结构(如使用hash结构的页表)以降低page walk开销。后者在页表建立之初也需要大段连续内存。然而,由于内存碎片的存在,系统通常难以动态分配1GB甚至2MB的连续内存。文章的第2)部分将以实验进一步说明这个问题。此外,传统的内存去碎片化需要通过软件执行页迁移。页迁移需要阻塞进程并进行TLB shootdown操作,开销很高,对性能的影响较大。进一步限制了内存管理算法的性能。
为此,文中进行以下实验:1)内存容量与TLB容量的变化趋势;2)连续物理内存对地址转换的性能影响;3)当前的内存碎片情况;4)不可移动页的分布与来源。
论文方案:
为了解决不可移动页带来的内存碎片问题,Contiguitas进行了三个方面的设计,如图6所示:① 让不可移动页只在不可移动区域被分配;② 动态调整不可移动分区与可移动分区的边界;③ 利用硬件迁移不可移动页。其中③也可以用于可移动页的迁移,不需要执行费时的TLB shootdown,提高页迁移操作的可扩展性。
软件设计:
Contiguitas将物理内存划分为不可移动区和可移动区,并用不同的空闲页链表管理。不可移动页只能从不可移动区的空闲页表中被分配,也只能释放到不可移动区。如果页的属性从可移动变化为不可移动,则Contiguitas将其迁移到不可移动区,避免对可移动区的污染。采用算法动态调整不可移动区和可移动区的边界,确定不可移动区的大小。
硬件设计:
为让不可移动页在迁移时也可以被正确访问,添加硬件支持。Contiguitas-HW允许在页面仍在使用时进行透明页面迁移。这种迁移可以大大减少不可移动区域的大小,并导致更有效的碎片整理和内存管理。
Contiguitas-HW将正在被迁移的页分为源页和目标页,并将对页的访问正确重定向到对应的页中。页面迁移是在步骤①中由操作系统向Contiguitas-HW提供源和目标物理页码(ppn)发起的。在复制缓存行之前,Contiguitas-HW会为源缓存行和目标缓存行发出BusRdX事件,如步骤②所示。此步骤保证源缓存行的最新版本位于LLC中,并且源和目标缓存行在更高级别的缓存中都无效。接下来,Contiguitas-HW将行从源复制到目标,如步骤③所示。在迁移过程中,一个请求,例如LD Ai,可能到达LLC,如④所示。操作系统执行本地TLB失效,如⑤所示。当所有TLB最终失效时,操作系统将从图8(b)中的元数据表中清除该条目。
实验结论:
在非常高的迁移速率下,迁移开销仅占0.2%和0.3%。当开启大页后,结合Contiguitas可以实现7%的性能提升。该实验验证了最佳页面大小将随着内存容量的不断增加而不断增长。