멈췄을 때: 스레드 덤프

# 대상 프로세스 확인
jcmd -l
# 또는
ps -ef | grep java

# 1) jcmd (권장)
jcmd <PID> Thread.print > thread_1.txt

# 2) jstack
jstack <PID> > thread_1.txt

# 응답이 없어 위 명령이 안 먹을 때
jstack -F <PID> > thread_1.txt

# 3) kill -3 (JVM 표준 출력으로 나감)
kill -3 <PID>
# 결과는 catalina.out 이나 nohup.out 등 표준 출력 파일에 붙습니다

실행 계정이 다르면 권한 오류가 납니다. 애플리케이션을 띄운 계정으로 실행해야 합니다. kill -3 은 프로세스를 죽이지 않습니다. 이름 때문에 오해하기 쉬운데 신호를 보내 덤프를 출력하게 하는 것뿐입니다.

# 스레드 상태 분포
grep "java.lang.Thread.State" thread_1.txt | sort | uniq -c | sort -rn

# 요청 처리 스레드 개수
grep -c "http-nio" thread_1.txt

# 스택 최상단(지금 실행 중인 지점)이 같은 스레드 세기
grep -A 1 "java.lang.Thread.State" thread_1.txt \
  | grep "^\s*at " | sort | uniq -c | sort -rn | head -20

마지막 명령이 핵심입니다. 가장 많은 스레드가 걸려 있는 코드 지점이 맨 위에 나옵니다. 대개 여기서 원인이 보입니다.

# 특정 스레드의 스택을 3장에서 나란히 보기
for f in thread_1.txt thread_2.txt thread_3.txt; do
  echo "=== $f ==="
  grep -A 12 '"http-nio-8080-exec-42"' $f
done

스택이 세 번 모두 같으면 그 지점에서 최소 10초 이상 멈춰 있는 것입니다. 그 줄이 무엇을 하는 코드인지 확인하면 원인에 도달합니다.

[1] 커넥션 풀 고갈 - 같은 스택에 수십~수백 개
"http-nio-8080-exec-42" #142 waiting on condition
   java.lang.Thread.State: WAITING (parking)
        at jdk.internal.misc.Unsafe.park(Native Method)
        at com.zaxxer.hikari.pool.HikariPool.getConnection(...)
        at com.example.OrderRepository.findAll(OrderRepository.java:58)

[2] 외부 호출 대기 - 상태는 RUNNABLE 이지만 실제로는 대기
"http-nio-8080-exec-17" #117 runnable
   java.lang.Thread.State: RUNNABLE
        at java.net.SocketInputStream.socketRead0(Native Method)
        at com.example.PaymentClient.request(PaymentClient.java:73)

[3] 락 경합 - BLOCKED 와 누가 잡고 있는지
"http-nio-8080-exec-31" #131 waiting for monitor entry
   java.lang.Thread.State: BLOCKED (on object monitor)
        at com.example.CacheManager.refresh(CacheManager.java:44)
        - waiting to lock <0x000000071ab2c3d8> (a java.lang.Object)
        - locked by "scheduler-1"

[4] 데드락 - 덤프 하단에 JVM 이 명시
Found one Java-level deadlock:
=============================
"worker-3":
  waiting to lock monitor 0x00007f8a1c0060a8,
  which is held by "worker-7"
"worker-7":
  waiting to lock monitor 0x00007f8a1c003fd8,
  which is held by "worker-3"

2번이 특히 헷갈립니다. 상태가 RUNNABLE이라 정상 실행처럼 보이지만 소켓 읽기는 응답을 기다리는 것입니다. 외부 연동에 타임아웃이 설정돼 있는지 확인하는 계기가 됩니다.