vLLM CUDA Graph와 enforce-eager, 부팅 실패와 추론 지연을 나눠 조정하는 법
vLLM에서 CUDA Graph와 eager 실행이 메모리·부팅 시간·추론 지연에 미치는 차이를 구분하고, enforce-eager를 진단용으로 쓰는 순서를 정리했어요.
2026년 10월 03일
컴퓨팅 · AI · 스마트기기 · 게임을 다루는 IT 가이드
vLLM에서 CUDA Graph와 eager 실행이 메모리·부팅 시간·추론 지연에 미치는 차이를 구분하고, enforce-eager를 진단용으로 쓰는 순서를 정리했어요.