bitsandbytes

Transformers와 bitsandbytes로 4비트 모델을 올릴 때 NF4·계산 dtype·중첩 양자화를 나누어 선택하고, 메모리 절감과 품질 변화를 검증하는 방법이에요.