vLLM 배치 튜닝, max_num_seqs와 max_num_batched_tokens를 나눠 조정하는 법
vLLM 서버가 메모리 부족으로 선점되거나 지연 시간이 흔들릴 때 max_num_seqs와 max_num_batched_tokens를 어떤 순서로 조정할지 정리했어요.
2026년 10월 04일
GPU
2026
vLLM Speculative Decoding, 낮은 QPS에서 지연을 줄이는 설정과 측정법
vLLM Speculative Decoding을 draft model·MTP·n-gram 방식으로 나누고, 낮은 QPS에서 실제 지연이 줄었는지 측정하는 순서를 정리해요.
2026년 09월 26일
Ollama GPU 메모리 점검, 컨텍스트·병렬 처리·KV 캐시를 조정하는 법
Ollama에서 모델이 GPU에 얼마나 올라갔는지 확인하고 컨텍스트 길이, 병렬 요청, KV 캐시를 메모리 조건에 맞게 조정하는 방법을 설명합니다.
2026년 09월 20일
vLLM Prefix Caching과 Tensor Parallelism, 긴 프롬프트와 다중 GPU를 함께 조정하는 법
vLLM Prefix Caching과 Tensor Parallelism을 같은 가속 옵션으로 보지 않고, 반복 prefix·KV 캐시·컨텍스트 길이·GPU 통신을 분리해 측정하고 선택하는 기준을 정리합니다.
2026년 09월 17일
카카오·SKT·KT, 전 국민 무료 AI 개발 착수…GPU·운영비 쟁점
카카오·SK텔레콤·KT의 무료 AI 개발 계획을 일정, GPU·운영비, 에이전트 실행 위험, 개인정보와 베타 이용 조건으로 나눠 살펴봅니다.
2026년 09월 05일
한전, 삼성전자·SK하이닉스에 반도체 클러스터 전기요금 선납 제안
한전이 반도체 클러스터 전력망 비용을 위해 삼성전자·SK하이닉스에 제안한 전기요금 선납 구상의 구조와 아직 확정되지 않은 조건을 정리했습니다.
2026년 09월 05일
국내 AI 데이터센터, GPU보다 무엇을 남길지가 중요해진 이유
국내 AI 데이터센터를 GPU 수량만으로 평가하지 않고 전력·데이터·모델·운영·산업 수요가 어떻게 연결되는지 확인하는 기준을 정리했습니다.
2026년 09월 03일