排查线上JVM CPU飙升使用率高和线程死锁问题

一、排查CPU飙升使用率高问题

在开始前新建一个 SpringBoot 项目构建CPU使用率高的场景：

@RestController
public class JvmThread1Controller {

    ThreadPoolExecutor executor = new ThreadPoolExecutor(
            10,
            15,
            2,
            TimeUnit.SECONDS,
            new LinkedBlockingDeque<>(50),
            new ThreadPoolExecutor.CallerRunsPolicy()
    );

    @GetMapping("/cpuUsageRate")
    public String cpuUsageRate() {
        executor.submit(() -> {
            int i = 0;
            while (true) {
                i = i++ * 10 + 5;
                System.out.println(i);
            }
        });
        return "success";
    }
}

上面声明了一个线程池，每次使用线程就从这个里面取，在cpuUsageRate接口中，写了一个死循环，每次都对i进行计算，程序运行起来，肯定cpu的使用率特别高。

启动应用，调用cpuUsageRate接口。

通过 top 查看 cpu 使用情况：

在这里插入图片描述

可以看到有个 java 应用的 cpu 使用率已经达到了 100% ，不出意外这就是上面启动的 java服务，下面假设不知道问题在哪，看是否能分析出问题点。

排查过程

使用 jcmd 查看所有java进程：

jcmd

在这里插入图片描述

这个就是上面启动的java服务，上面的 top 中已经看出就是他 cpu 占用非常高，下面使用 top -Hp 查看该进程下的线程资源占用情况：

top -Hp 30038

在这里插入图片描述
可以看到线程ID为 30077 的使用率非常高，下面可以通过 jstack 查看该线程的详细情况，但 jstack 中的 ID 是 16 机制的，30077 是10进制的，因此需要通过 printf '%x\n' 转换：

printf '%x\n' 30077

在这里插入图片描述

有了线程ID后，就可以通过 jstack 查看详情， -A 50表示关键位置后面50行的信息都取出来：

jstack 30038 | grep -A 50 757d

在这里插入图片描述

从提示的位置查找代码，可以非常清晰的找到问题所在：

在这里插入图片描述

二、排查线程死锁问题

上面我们定位到 cpu 使用率大的线程及定位到了具体位置，这里我们继续定位线程死锁问题，在开始前我们先构建一个死锁的环境：

@RestController
public class JvmThread2Controller {

    ThreadPoolExecutor executor = new ThreadPoolExecutor(
            10,
            15,
            2,
            TimeUnit.SECONDS,
            new LinkedBlockingDeque<>(50),
            new ThreadPoolExecutor.CallerRunsPolicy()
    );
 
    @GetMapping("/threadLock")
    public String threadLock() {
        Object resourceA = new Object();
        Object resourceB = new Object();
        executor.submit(() -> {
            synchronized (resourceA) {
                try {
                    TimeUnit.SECONDS.sleep(1);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                synchronized (resourceB) {
                }
            }
        });
        executor.submit(() -> {
            synchronized (resourceB) {
                try {
                    TimeUnit.SECONDS.sleep(1);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                synchronized (resourceA) {
                }
            }
        });
        return "success";
    }
}