【总结】yarn ResourceManager 宕机重启总是失败解决排查

Yarn ResourceManager 莫名奇妙宕机

接到同事反馈，说yarn RM 端口总是访问超时。但是查看日志，又没有发现任务蛛丝马迹，且RM服务是存活的。很有可能是RM服务已经假死了。
在这里插入图片描述

重启Yarn ResourceManager 报错1

The specific max attemts: 0 for application:24998 is invalid.because it is out of [1,2] ……
在这里插入图片描述
ApplicationNotFoundException: Application with id ‘application_1687657423545_009’ doesn’t exist in RM.Please check that the job submission was successful.

RM服务重启后，没多久，又自动宕机。反复重启好几次都是一样的情况。于是乎开始，认真排查问题的真实原因。

最后，再out的日志文件里，发现了一些有用的信息。
在这里插入图片描述
看到Out of Memory Error，这下总算是有些眉目了。内存溢出，那就调大RM 得JVM 内存。之前是2G，调大到3G，继续重启。

重启Yarn ResourceManager 报错2

在这里插入图片描述
这一次重启，和之前重启有了不一样的报错，这次是重启了一会之后，日志大量刷之前刷过的日志，然后过一小会就停了。
最终退出前打印以上日志，特意去搜索了下：GC overhead limit exceeded 相关资料。

java.lang.OutOfMemoryError: GC overhead limit exceeded错误。

oracle官方给出了这个错误产生的原因和解决方法：

Exception in thread thread_name: java.lang.OutOfMemoryError: GC Overhead limit 
exceeded Cause: The detail message "GC overhead limit exceeded" indicates that 
the garbage collector is running all the time and Java program is making very slow 
progress. After a garbage collection, if the Java process is spending more than 
approximately 98% of its time doing garbage collection and if it is recovering less 
than 2% of the heap and has been doing so far the last 5 (compile time constant) 
consecutive garbage collections, then a java.lang.OutOfMemoryError is thrown. 
This exception is typically thrown because the amount of live data barely fits into 
the Java heap having little free space for new allocations.

Action: Increase the heap size. The java.lang.OutOfMemoryError exception for GC 
Overhead limit exceeded can be turned off with the command line flag -XX:-
UseGCOverheadLimit.

原因：
JVM花费了大量时间做垃圾回收，使得程序变得很慢，垃圾回收器一直在运行，Java程序运行很慢。如果Java进程花费超过大约98%的时间用于垃圾收集，回收到的只有2%可用的内存，且过去的5次垃圾回收情况都是如此，连续的垃圾收集效率都很低，那就说明Java堆几乎没有可供新分配的可用空间。

调整：看来RM 的JVM 内存调大到3G还是不行，那就继续调大到4G。