vLLM 배치 튜닝, max_num_seqs와 max_num_batched_tokens를 나눠 조정하는 법
vLLM 서버가 메모리 부족으로 선점되거나 지연 시간이 흔들릴 때 max_num_seqs와 max_num_batched_tokens를 어떤 순서로 조정할지 정리했어요.
2026년 10월 04일
컴퓨팅 · AI · 스마트기기 · 게임을 다루는 IT 가이드
vLLM 서버가 메모리 부족으로 선점되거나 지연 시간이 흔들릴 때 max_num_seqs와 max_num_batched_tokens를 어떤 순서로 조정할지 정리했어요.