vLLM OpenAI 호환 서버 운영, API 키·모델 이름·프록시 경계를 나누는 법
vLLM을 OpenAI 호환 API로 운영할 때 모델 이름과 요청 경로를 고정하고, API 키의 보호 범위와 역방향 프록시 경계를 분리해 점검하는 중급자 가이드예요.
2026년 10월 05일
vLLM
2026
vLLM 배치 튜닝, max_num_seqs와 max_num_batched_tokens를 나눠 조정하는 법
vLLM 서버가 메모리 부족으로 선점되거나 지연 시간이 흔들릴 때 max_num_seqs와 max_num_batched_tokens를 어떤 순서로 조정할지 정리했어요.
2026년 10월 04일
vLLM CUDA Graph와 enforce-eager, 부팅 실패와 추론 지연을 나눠 조정하는 법
vLLM에서 CUDA Graph와 eager 실행이 메모리·부팅 시간·추론 지연에 미치는 차이를 구분하고, enforce-eager를 진단용으로 쓰는 순서를 정리했어요.
2026년 10월 03일
vLLM LoRA 어댑터 운영, 기본 모델과 런타임 교체를 안전하게 나누는 법
vLLM에서 LoRA 어댑터를 기본 모델과 분리해 서비스하고, 메모리·동적 로딩·요청 모델명을 점검하는 중급 운영 기준을 정리합니다.
2026년 09월 27일
vLLM Speculative Decoding, 낮은 QPS에서 지연을 줄이는 설정과 측정법
vLLM Speculative Decoding을 draft model·MTP·n-gram 방식으로 나누고, 낮은 QPS에서 실제 지연이 줄었는지 측정하는 순서를 정리해요.
2026년 09월 26일
vLLM 지연을 TTFT·TPOT·KV 캐시로 나눠 진단하는 법
vLLM 서버가 느려졌을 때 GPU 사용률 하나로 판단하지 않고 TTFT·TPOT·토큰 간격·KV 캐시 지표로 원인을 좁히는 방법을 정리했어요.
2026년 09월 23일