线程阻塞了，如何优化排查？

发表于 3年以前 | 总阅读数：295 次

问题发现

1 前天大佬通过prometheus发现 tomcat http busy状态的线程这几天呈线性递增。每一天增加3个

排查问题

1：找到busy线程在哪。通过jvm自带的 jps 命令可以找到服务对应的进程ID：66182$>$top -Hp 66182 $pidstat -u -p 66182 1 5

大部分的线程都正常，cpu利用率不高，而且线程ID变动快，基本排除死循环、CPU 空转的问题

2：既然不是死循环、CPU空转。那是不是代码阻塞的问题呢。导出 66182 进程jvm的 stack 文件 jstack -l 66182 > block66182.jstack。因为知道是http 线程的问题。http 的开头一般都是 http-nio 。可以使用 grep -A 15 'http-nio' block66182.jstack 输出一些关键信息。找了很久，多数http 都是正常状态。然后还找到了项目代码 updateXYDVerifiedCodeByDate 之类的。定位到具体，发现是一个定时任务

3 查了下 xxl-task 调度日志。凌晨左右调度了十次，失败了三次，和在prometheus发现的 busy http线程增加的规律是一致的

4 查找代码发现是 CompletableFuture 调用get阻塞住了。后来改成 future.get(15, TimeUnit.SECONDS);。则每隔 15 秒报错一次。但是在promethues 监控到 verifiedCodeQueryExecutor 的线程队列是空的。 4.1 promethues 监控到的线程队列数为空

5 没有任务 CompletableFuture 的get方法还在执行，查看下 verifiedCodeQueryExecutor 的定义。发现，阻塞队列的拒绝策略是 DiscardPolicy 丢弃。也就是任务丢弃了不被执行，而封装成的CompletableFuture 自然就不会有结果返回，因此一直会被阻塞，而改了代码则是超时返回。真相大白。。。。。

在这里插入图片描述

解决问题

1：队列无限，好像不太好，不接受
2：自定义拒绝策略

new RejectedExecutionHandler(){
            @Override
            public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
                throw new RuntimeException(" over size error ");
            }
        }