深入理解Go语言GC机制

1、Go 1.3之前的标记-清除(mark and sweep)算法

Go 1.3之前的时候主要用的是普通的标记-清除算法,此算法主要由两个主要的步骤:

  • 标记(Mark phase)
  • 清除(Sweep phase)
1)、标记-清除算法的具体步骤

第一步,暂停程序业务逻辑,分类出可达和不可达的对象,然后做上标记

图中表示是程序与对象的可达关系,目前程序的可达对象有对象1->2->3,对象4->7等五个对象

第二步,开始标记,程序找出它所有可达的对象,并做上标记

对象1->2->3、对象4->7等五个对象被做上标记

第三步,标记完了之后,然后开始清除未标记的对象

操作非常简单,但是有一点需要额外注意:mark and sweep算法在执行的时候,需要程序暂停,即STW(stop the world)。STW的过程中,CPU不执行用户代码,全部用于垃圾回收,这个过程影响很大,所以STW也是一些回收机制最大的难题和希望优化的点。所以在执行第三步的这段时间,程序会暂停任何工作,卡在那等待回收执行完毕

第四步,停止暂停,让程序继续运行,然后重复这个过程,直到进程生命周期结束

2)、标记-清除的缺点

标记-清除算法明了,过程鲜明干脆,但是也有非常严重的问题

  1. STW让程序暂停,程序出现卡顿(重要问题
  2. 标记需要扫描整个heap
  3. 清除数据会产生heap碎片

Go 1.3版本之前就是以上来实施的,在执行GC的基本流程就是首先启动STW暂停,然后执行标记,再执行数据回收,最后停止STW

在这里插入图片描述

从上图来看,全部的GC时间都是包裹在STW范围之内的,这样貌似程序暂停的时间过长,影响程序的运行性能。所以Go 1.3做了简单的优化,将STW的步骤提前,减少STW暂停的时间范围

在这里插入图片描述

上图主要是将STW的步骤提前了一步,因为在sweep清除的时候,可以不需要STW停止,因为这些对象已经是不可达对象了,不会出现回收写冲突等问题

但是无论怎么优化,Go 1.3都面临这个一个重要问题,就是标记-清除算法会暂停整个程序

2、Go 1.5的三色并发标记法

Go中的垃圾回收主要应用三色标记法,GC过程和其他用户goroutine可并发运行,但需要一定时间的STW,所谓三色标记法实际上就是通过三个阶段的标记来确定清除的对象都有哪些

1)、三色标记法的过程

第一步,每次新创建的对象,默认的颜色都是标记为白色

如上图所示,左边为程序可抵达的内存对象关系,右边的标记表用来记录目前每个对象的标记颜色分类。这里需要注意的是,所谓程序则是一些对象的根结点集合。所以我们如果将程序展开,会得到类似如下图的表现形式

第二步,每次GC回收开始,会从根节点开始遍历所有对象,把遍历到的对象从白色集合放入灰色集合

这里要注意的是,本次遍历是一次遍历,非递归形式,是从程序抽出可抵达的对象遍历一层,如上图所示,当前可抵达的对象是对象1和对象4,那么自然本轮遍历结束,对象1和对象4就会被标记为灰色,灰色标记表就会多出这两个对象

第三步,遍历灰色集合,将灰色对象引用的对象从白色集合放入灰色集合,之后将此灰色对象放入黑色集合

这一次遍历是只扫描灰色对象,将灰色对象的第一层遍历可抵达的对象由白色变为灰色,如对象2、对象7。而之前的灰色对象1和对象4则会被标记为黑色,同时由灰色标记表移动到黑色标记表中

第四步,重复第三步,直到灰色中无任何对象

当全部的可达对象都遍历完后,灰色标记表将不再存在灰色对象,目前全部内存的数据只有两种颜色,黑色和白色。那么黑色对象就是我们程序逻辑可达(需要的)对象,这些数据是目前支撑程序正常业务运行的,是合法的有用数据,不可删除,白色的对象是全部不可达对象,目前程序逻辑并不依赖它们,那么白色对象就是内存中目前的垃圾数据,需要被清除

第五步,回收所有的白色标记表的对象,也就是垃圾回收

将全部的白色对象进行删除回收,剩下的就是全部依赖的黑色对象

以上便是三色并发标记法,不难看出,上面已经清楚的体现三色的特性。但是这里面可能会有很多并发流程均会被扫描,执行并发流程的内存可能相互依赖,为了在GC过程中保证数据的安全,我们在开始三色标记之前就会加上STW,在扫描确定黑白对象之后再放开STW。但是很明显这样的GC扫描的性能实在是太低了

2)、没有STW的三色标记法

假设没有STW,那么也就不会再存在性能上的问题。那么接下来假设如果三色标记法不加入STW会发生什么事情?

当前已经经历了第一轮扫描,目前黑色的有对象1和对象4,灰色的有对象2和对象7,其他的为白色对象,且对象2是通过指针p指向对象3的,如下图所示:

现在如果三色标记过程不启动STW,那么在GC扫描过程中,任意的对象均可能发生读写操作,如下图所示,在还没有扫描到对象2的时候,已经标记为黑色的对象4,此时创建指针q,并且指向白色的对象3

与此同时灰色的对象2将指针p移除,那么白色的对象3实则就是被挂在了已经扫描完成的黑色的对象4下,如下图所示:

然后正常执行三色标记的算法逻辑,将所有灰色的对象标记为黑色,那么对象2和对象7就被标记为了黑色,如下图所示:

那么就执行了三色标记的最后一步,将所有白色对象当做垃圾进行回收,如下图所示:

但是本来是对象4合法引用的对象3却被GC给误杀回收掉了

3)、触发三色标记法不安全的必要条件

可以看出,有两种情况在三色标记法中是不希望被发生的

  • 条件1:一个白色对象被黑色对象引用(白色被挂在黑色下
  • 条件2:灰色对象与它之间的可达关系的白色对象遭到破坏(灰色同时丢了该白色

如果当以上两个条件同时满足时,就会出现对象丢失现象

并且,如图所示的场景中,如果示例的白色对象3还有很多下游对象的恶化,也会一并都清理掉

为了防止这种现象的发生,最简单的方式就是STW,直接禁止掉其他用户程序对对象引用关系的干扰,但是STW的过程有明显的资源浪费,对所有的用户程序都有很大影响。那么是否可以在保证对象不丢失的情况下合理的尽可能的提高GC效率,减少STW时间呢?答案是可以的,只要使用一种机制,尝试去破坏上面的两个必要条件就可以了

3、屏障机制

让GC回收器满足下面两种情况之一时,即可保证对象不丢失。这两种方式就是强三色不变式和弱三色不变式

1)、强弱三色不变式

强三色不变式:

不存在黑色对象引用到白色对象的指针

强三色不变式实际上是强制性的不允许黑色对象引用白色对象,这样就不会出现有白色对象被误删的情况

弱三色不变式:

所有被黑色对象引用的白色对象都处于灰色保护状态

弱三色不变式强调,黑色对象可以引用白色对象,但是这个白色对象必须存在其他灰色对象对它的引用,或者可达它的链路上游存在灰色对象。这样实则是黑色对象引用白色对象,白色对象处于一个危险被删除的状态,但是上游灰色对象的引用,可以保护该白色对象,使其安全

为了遵循上述的两个方式,GC算法演进到两种屏障方式:插入屏障、删除屏障

2)、插入屏障

具体操作:在A对象引用B对象的时候,B对象被标记为灰色(将B挂在A下游,B必须被标记为灰色)

满足:强三色不变式(不存在黑色对象引用到白色对象的情况了,因为白色会强制变为灰色)

伪代码:

添加下游对象(当前下游对象slot, 新下游对象ptr) {   
  // 1
  标记灰色(新下游对象ptr)   
  // 2
  当前下游对象slot = 新下游对象ptr  				  
}

场景:

A.添加下游对象(nil, B)  // A之前没有下游,新添加一个下游对象B,B被标记为灰色
A.添加下游对象(C, B)    // A将下游对象C更换为B,B被标记为灰色

这段伪代码逻辑就是写屏障。黑色对象的内存槽有两种位置,栈和堆。栈空间的特点是容量小,但是要求响应速度快,因为函数调用弹出频繁使用,所以插入屏障机制在栈空间的对象操作中不使用,而仅仅使用在堆空间对象的操作中

但是如果栈不添加,当全部三色标记扫描之后,栈上有可能依然存在白色对象被引用的情况(如上图的对象9)。所以要对栈重新进行三色标记扫描,但这次为了对象不丢失,要对本次扫描启动STW暂停,直到栈空间的三色标记结束

最后将栈和堆空间扫描剩余的全部白色节点清除。这次STW大约的时间在10-100ms间

3)、删除屏障

具体操作:被删除的对象,如果自身为灰色或者白色,那么被标记为灰色

满足:弱三色不变式(保护灰色对象到白色对象的路径不会断)

伪代码:

添加下游对象(当前下游对象slot, 新下游对象ptr) {
  // 1
  if (当前下游对象slot是灰色 || 当前下游对象slot是白色) {
  		标记灰色(当前下游对象slot)  // slot为被删除对象,标记为灰色
  }
  // 2
  当前下游对象slot = 新下游对象ptr
}

场景:

A.添加下游对象(B, nil)  // A对象删除B对象的引用.B被A删除,被标记为灰(如果B之前为白)
A.添加下游对象(B, C)    // A对象更换下游B变成C.B被A删除,被标记为灰(如果B之前为白)

这种方式的回收精度低,一个对象即使被删除了最后一个指向它的指针也依旧可以活过这一轮,在下一轮GC中被清理掉

4、Go 1.8的混合写屏障(hybrid write barrier)机制

插入屏障和删除屏障的短板:

  • 插入屏障:结束时需要STW来重新扫描栈,标记栈上引用的白色对象的存活
  • 删除屏障:回收精度低,GC开始时STW扫描堆栈来记录初始快照,这个过程会保护开始时刻的所有存活对象

Go 1.8版本引入了混合写屏障机制(hybrid write barrier),避免了对栈re-scan的过程,极大的减少了STW的时间,结合了两者的优点

1)、混合写屏障规则

具体操作:

  1. GC开始将栈上的对象全部扫描并标记为黑色(之后不再进行第二次重复扫描,无需STW)
  2. GC期间,任何在栈上创建的新对象均为黑色
  3. 堆上被删除的对象标记为灰色
  4. 堆上被添加的对象标记为灰色

混合写屏障实际上满足的是一种变形的弱三色不变式。它的伪代码如下:

添加下游对象(当前下游对象slot, 新下游对象ptr) {
  // 1 
  标记灰色(当前下游对象slot)  // 只要当前下游对象被移走,就标记灰色
  // 2 
  标记灰色(新下游对象ptr)
  // 3
  当前下游对象slot = 新下游对象ptr
}

注意:屏障技术不在栈上应用,因为要保证栈的运行效率。混合写屏障是GC的一种屏障机制,所以只是当程序执行GC的时候,才会触发这种机制

2)、混合写屏障的具体场景分析
1)GC开始:扫描栈区,将可达对象全部标记为黑
2)场景一: 对象被一个堆对象删除引用,成为栈对象的下游

场景1主要描述的是对象被堆对象删除引用,成为栈对象的下游情况,伪代码如下:

// 前提:堆对象4->对象7 = 对象7;  // 对象7被对象4引用
栈对象1->对象7 = 堆对象7;  // 将堆对象7挂在栈对象1下游
堆对象4->对象7 = null;    // 对象4删除引用对象7
3)场景二: 对象被一个栈对象删除引用,成为另一个栈对象的下游

场景2主要描述的是对象被一个栈对象删除引用,成为另一个栈对象的下游情况,伪代码如下:

new 栈对象9;
对象8->对象3 = 对象3;  // 将栈对象3挂在栈对象9下游
对象2->对象3 = null;  // 对象2删除引用对象3
4)场景三:对象被一个堆对象删除引用,成为另一个堆对象的下游

场景3主要描述的是对象被一个堆对象删除引用,成为另一个堆对象下游的情况,伪代码如下:

堆对象10->对象7 = 堆对象7;  // 将堆对象7挂在堆对象10下游
堆对象4->对象7 = null;     // 对象4删除引用对象7
5)场景四:对象从一个栈对象删除引用,成为另一个堆对象的下游

场景4主要描述的是对象从一个栈对象被删除引用,成为另一个堆对象的下游情况,伪代码如下:

堆对象10->对象7 = 堆对象7;  // 将堆对象7挂在堆对象10下游
堆对象4->对象7 = null;     // 对象4删除引用对象7

Go中的混合写屏障满足弱三色不变式,结合了删除屏障和插入屏障的优点,只需要在开始时并发扫描各个goroutine的栈,使其变黑并一直保持,这个过程不需要STW,而标记结束后,因为栈在扫描后始终是黑色的,也无需再进行re-scan操作了,减少了STW的时间

6、小结

Go 1.3使用普通标记清除法,整体过程需要启动STW,效率极低

Go 1.5使用三色标记法, 堆空间启动写屏障,栈空间不启动,全部扫描之后,需要重新扫描一次栈(需要STW),效率普通

Go 1.8使用三色标记法,混合写屏障机制, 栈空间不启动,堆空间启动。整个过程几乎不需要STW,效率较高

参考:

Golang三色标记混合写屏障GC模式全分析

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/217972.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

通达OA inc/package/down.php接口存在未授权访问漏洞

声明 本文仅用于技术交流,请勿用于非法用途 由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,文章作者不为此承担任何责任。 一. 产品简介 通达OA(Office Anywhere网络智能办公系统&am…

图像语义分割算法(FCN/U-net)

Some definitions  与目标检测不同,语义分割任务不但要对图片中的物体的位置和类别进行预测,还要精确地描绘出不同类物体之间的边界(注意是不同类物体,而不是不同物体。若对同一类的不同物体也进行区分,则…

ERPNext SQL 注入漏洞复现

0x01 产品简介 ERPNext 是一套开源的企业资源计划系统。 0x02 漏洞概述 ERPNext 系统frappe.model.db_query.get_list 文件 filters 参数存在 SQL 注入漏洞,攻击者除了可以利用 SQL 注入漏洞获取数据库中的信息(例如,管理员后台密码、站点的用户个人信息)之外,甚至在高权…

同旺科技 USB TO SPI / I2C --- 调试W5500_TCP Client测试

所需设备: 内附链接 1、USB转SPI_I2C适配器(专业版); 首先,连接W5500模块与同旺科技USB TO SPI / I2C适配器,如下图: 网关IP地址寄存器(192.168.1.1)子网掩码寄存器(255.255.255.0)源MAC地址寄存器源IP地址寄存器(192.168.1.8)…

idea__SpringBoot微服务01——了解Springboot

了解Springboot 一、回顾学习与现在三、回顾什么是Spring三、Spring是如何简化Java开发的四、什么是SpringBoot五、看图————————创作不易,如觉不错,随手点赞,关注,收藏(* ̄︶ ̄),谢谢~~ 一…

互联网Java工程师面试题·Spring Boot篇·第一弹

目录 1、什么是 Spring Boot? 2、Spring Boot 有哪些优点? 3、什么是 JavaConfig? 4、如何重新加载 Spring Boot 上的更改,而无需重新启动服务器? 5、Spring Boot 中的监视器是什么? 6、如何在 Sprin…

Mysql集群部署---MySQL集群Cluster将数据分成多个片段,每个片段存储在不同的服务器上

1.1 目的 部署MysqlCluster集群环境 1.2 MySQL集群Cluster原理 1 数据分片 MySQL集群Cluster将数据分成多个片段,每个片段存储在不同的服务器上。这样可以将数据负载分散到多个服务器上,提高系统的性能和可扩展性。 2. 数据同步 MySQL集群Cluster使…

微服务--一篇入门kubernets

Kubernetes 1. Kubernetes介绍1.1 应用部署方式演变1.2 kubernetes简介1.3 kubernetes组件1.4 kubernetes概念 2. kubernetes集群环境搭建2.1 前置知识点2.2 kubeadm 部署方式介绍2.3 安装要求2.4 最终目标2.5 准备环境2.6 系统初始化2.6.1 设置系统主机名以及 Host 文件的相互…

两种内网穿透的实现方法

目录 前言: 一、IP和端口的作用 二、公网IP不够用 三、内网穿透实现方法 方法一:设置路由器 方法二:使用某些APP,例如花生壳 前言: 本文会介绍为什么需要使用内网穿透以及实现内网穿透的两种方法 一、IP和端口…

sqlmap400报错问题解决

python sqlmap.py -r sql.txt --batch --techniqueB --tamperspace2comment --risk 3 --force-ssl–batch 选项全部默认 不用再手动输入 –techniqueB 使用布尔盲注,该参数是指出要求使用的注入方式 –tamperspace2comment使用特殊脚本,space2comment是把…

LeedCode刷题---双指针问题

顾得泉:个人主页 个人专栏:《Linux操作系统》 《C/C》 《LeedCode刷题》 键盘敲烂,年薪百万! 双指针简介 常见的双指针有两种形式,一种是对撞指针,一种是左右指针。 对撞指针:一般用于顺序结构中&…

Powercli常用命令

背景 vcenter web界面不如命令行快,且不能批量操作。 根据实际需求逐步补充使用到的powercli 命令。 00 通过bat脚本配置terminal标签页 在WindowsTerminal上配置新的标签页,实现打开标签页即默认连接vcenter。 脚本内容如下: echo off p…

Linux进程通信——内存映射mmap

Linux进程通信——内存映射mmap 1、创建内存映射区2、进程间通信2.1 有血缘关系2.2 没有血缘关系 3、拷贝文件 原文链接 1、创建内存映射区 如果想要实现进程间通信,可以通过函数创建一块内存映射区,和管道不同的是管道对应的内存空间在内核中&#xf…

Nat easy IP ACL

0表示匹配,1表示任意(主机位0.0.0.255(255主机位)) rule deny source 192.168.2.1 0 设置拒绝192.168.2.1的主机通过 记住将其应用到接口上 [AR2]acl 2000 //创建基本ACL [AR2-acl-basic-2000]rule deny source 192…

网络安全(二)-- Linux 基本安全防护技术

4.1. 概述 安全防护基础主要是会用Linux系统, 熟悉Linux基本操作命令。 在这个章节中,我们主要探讨自主访问控制(许可位、ACL)、文件属性、 PAM技术、能力机制等。 4.1.1. 补充命令 本章节中,涉及一些新的命令&#…

NPS内网穿透教程

1.简介 nps是一款轻量级、高性能、功能强大的内网穿透代理服务器。目前支持tcp、udp流量转发,可支持任何tcp、udp上层协议(访问内网网站、本地支付接口调试、ssh访问、远程桌面,内网dns解析等等……),此外还支持内网ht…

python socket编程6 - 使用PyQt6 开发UI界面实现TCP server和TCP client单机通讯的例子

使用PyQt6 开发UI界面实现TCP server和TCP client单机通讯的示例。 一、PyQt6 实现的界面 二、TCP server代码的修改示意 界面提供网络参数的配置,以及提供人机交互过程中的数据获取和显示。 1、把上面的server代码封装成两个部分 A、class Server 负责接受UI界面…

JS浮点数精度问题及解决方案

前端面试大全JS浮点数精度问题及解决方案 🌟经典真题 🌟浮点数精度常见问题 🌟为什么会有这样的问题 🌟真题解答 🌟总结 🌟经典真题 为什么 console.log(0.20.10.3) 得到的值为 false 🌟…

Spring Security 6.x 系列(9)—— 基于过滤器链的源码分析(二)

一、前言 在本系列文章: Spring Security 6.x 系列(4)—— 基于过滤器链的源码分析(一)中着重分析了Spring Security在Spring Boot 的自动配置、 DefaultSecurityFilterChain 的构造流程、FilterChainProxy 的构造流…

12.4 C++ 作业

完成沙发床的多继承 #include <iostream>using namespace std;//封装 沙发 类 class Sofa { private:string *sitting; public://无参构造函数Sofa(){cout << "Sofa::无参构造函数" << endl;}//有参构造函数Sofa(string s):sitting(new string(s)…