Transformers KV 캐시 구현 선택, Dynamic·Static·Offloaded를 추론 조건에 맞추는 법
Hugging Face Transformers의 DynamicCache·StaticCache·OffloadedCache를 긴 컨텍스트, 컴파일, GPU 메모리 부족 상황에 맞춰 선택하고 진단하는 방법을 정리합니다.
2026년 10월 01일
LLM 추론
2026
Hugging Face chat template 오류, add_generation_prompt와 특수 토큰을 분리하는 법
Transformers에서 모델별 chat template을 확인하고 add_generation_prompt·continue_final_message·특수 토큰 중복을 피하는 중급 점검 순서입니다.
2026년 09월 29일