Hugging Face Transformers

Transformers에서 대형 모델을 올릴 때 GPU 메모리만 보지 않고 dtype, device_map, CPU·디스크 offload의 비용을 나누어 판단하는 방법을 정리해요.