vLLM 지연을 TTFT·TPOT·KV 캐시로 나눠 진단하는 법
vLLM 서버가 느려졌을 때 GPU 사용률 하나로 판단하지 않고 TTFT·TPOT·토큰 간격·KV 캐시 지표로 원인을 좁히는 방법을 정리했어요.
컴퓨팅 · AI · 스마트기기 · 게임을 다루는 IT 가이드
vLLM 서버가 느려졌을 때 GPU 사용률 하나로 판단하지 않고 TTFT·TPOT·토큰 간격·KV 캐시 지표로 원인을 좁히는 방법을 정리했어요.
Artificial Analysis의 독립 평가와 OpenAI 자체 벤치마크를 구분해 GPT-6 Sol·Luna의 성능 변화와 API 비용을 살펴봅니다. Claude·Gemini 비교, 짧은·긴 문맥 가격, 실제 토큰 사용 예시를 확인하세요. 가격·모델 정보 확인일은 2026년 9월 23일입니다.
Gemini Gems가 무엇인지, 웹에서 맞춤 Gem을 만들고 요청 사항·파일·출력 형식을 정하는 순서를 초보자 기준으로 설명합니다.
MCP 서버를 AI 클라이언트에 연결할 때 도구 권한, 사용자 인증, 입력 검증을 분리해 사고 범위를 줄이는 실전 기준을 정리했어요.
긴 PDF를 AI에게 맡길 때 문서 범위와 성공 기준을 정하고, 페이지 근거와 예외 조건을 확인하는 순서를 초보자 기준으로 정리했어요.
NotebookLM에 자료를 넣고 Audio Overview를 만드는 순서와 요약 오류를 원문으로 확인하는 방법을 정리했어요.
Ollama에서 모델이 GPU에 얼마나 올라갔는지 확인하고 컨텍스트 길이, 병렬 요청, KV 캐시를 메모리 조건에 맞게 조정하는 방법을 설명합니다.
ChatGPT 대화를 보관할지 삭제할지, 먼저 데이터를 내려받을지 헷갈릴 때 따라 할 수 있는 순서와 삭제 후 복구할 수 없는 항목을 정리했어요.
Ollama의 JSON 모드와 JSON 스키마의 차이를 설명하고, Pydantic·Zod 검증, 실패 재시도, 컨텍스트·메모리 관리, 스키마 버전화를 실무 순서로 정리합니다.
Ollama 설치 뒤 첫 모델을 실행하고, 목록·실행 상태·삭제 명령을 구분해 로컬 AI를 안전하게 시작하는 순서입니다.