vLLM

vLLM 서버가 느려졌을 때 GPU 사용률 하나로 판단하지 않고 TTFT·TPOT·토큰 간격·KV 캐시 지표로 원인을 좁히는 방법을 정리했어요.