Hugging Face 보관 - 해치야, 알려줘! 해치넷!

1

Transformers KV 캐시 선택법, Dynamic·Static·Offloaded를 추론 조건에 맞추는 법

Hugging Face Transformers에서 KV 캐시가 메모리와 지연시간에 미치는 영향을 이해하고 Dynamic, Static, Offloaded, Quantized 캐시를 선택하는 기준을 정리했어요.

2026년 10월 07일

Transformers와 bitsandbytes로 4비트 모델을 올릴 때 NF4·계산 dtype·중첩 양자화를 나누어 선택하고, 메모리 절감과 품질 변화를 검증하는 방법이에요.

2026년 09월 30일

Transformers에서 모델별 chat template을 확인하고 add_generation_prompt·continue_final_message·특수 토큰 중복을 피하는 중급 점검 순서입니다.

2026년 09월 29일

NVIDIA와 Hugging Face의 129억 3030만 달러 인수 합의에서 확인된 사실과 아직 정해지지 않은 내용을 나눠 설명합니다. 오픈 플랫폼 약속을 실제 정책으로 점검할 기준도 제시합니다.

2026년 09월 04일