그래픽카드 VRAM vs 통합 메모리｜LLM은 어디서 더 잘 돌아갈까?

AI를 활용하여 생성한 이미지입니다.

LLM용 컴퓨터를 고를 때 “VRAM 16GB”와 “통합 메모리 32GB” 중 숫자가 큰 쪽을 고르면 된다고 생각하기 쉽습니다. 하지만 두 메모리는 쓰이는 방식이 다릅니다. 전용 VRAM은 GPU가 바로 사용하는 작업 공간이고, Apple Silicon의 통합 메모리는 CPU·GPU와 운영체제·앱이 함께 쓰는 하나의 풀입니다.[1][2] 따라서 모델 파일이 들어가는지뿐 아니라, 실행 중 여유가 남는지와 원하는 속도가 나오는지를 따로 봐야 합니다.

모델 파일 크기만 계산하면 부족한 이유

LLM은 가중치 외에도 긴 대화를 보관하는 KV 캐시와 실행 중 필요한 작업 공간을 사용합니다. 4비트 양자화 모델의 가중치만 아주 거칠게 계산하면 파라미터 수에 약 0.5를 곱한 GB로 생각할 수 있습니다. 예를 들어 7B는 약 3.5GB, 14B는 약 7GB, 32B는 약 16GB, 70B는 약 35GB 수준입니다. 이 값에는 런타임, 캐시, 운영체제와 다른 앱의 공간이 들어 있지 않습니다.

그래서 16GB 파일이 16GB 메모리에 들어간다는 사실은 실행 여유가 있다는 뜻이 아닙니다. 긴 문서를 입력하거나 대화를 오래 이어 가면 KV 캐시가 커질 수 있고, 다른 앱을 함께 열면 메모리 압박이 빨리 나타납니다. 구매 기준은 파일 크기보다 한 단계 넉넉하게 잡는 편이 안전합니다.

전용 VRAM은 GPU 가까이에 있는 작업대

그래픽카드의 VRAM은 GPU가 전용으로 사용하는 메모리입니다. NVIDIA 제품은 모델별 전용 메모리와 기능이 다르므로 제품 페이지의 용량을 먼저 확인해야 합니다.[1] 필요한 가중치와 작업 데이터가 VRAM 안에 충분히 들어가면 GPU의 병렬 연산을 활용하기 쉬운 것이 전용 VRAM의 장점입니다.

반대로 VRAM이 부족하면 실행기가 일부 층이나 데이터를 시스템 RAM·CPU 쪽으로 넘기는 오프로딩을 사용할 수 있습니다. llama.cpp처럼 CPU와 GPU를 함께 사용하는 실행기는 이런 선택지를 제공하지만, 실행 가능 여부와 속도는 모델, 빌드, 하드웨어에 따라 달라집니다.[3] 오프로딩은 “안 된다”를 “된다”로 바꾸는 방법일 수 있지만, 데이터 이동이 늘어 응답이 느려질 수 있습니다.

• 장점: GPU가 전용 메모리를 빠르게 사용할 수 있습니다.
• 장점: 게임·3D·영상 작업과 시스템 메모리를 직접 나누지 않습니다.
• 한계: 용량이 부족하면 RAM 오프로딩 비용이 커질 수 있습니다.
• 한계: 그래픽카드 교체 전에는 VRAM을 늘리기 어렵습니다.

통합 메모리는 CPU와 GPU가 공유하는 풀

Apple은 Apple Silicon의 통합 메모리 구조에서 CPU와 GPU가 데이터를 공유할 때 별도의 복사본을 만드는 비용을 줄일 수 있다고 설명합니다.[2] 그래서 별도 VRAM이 없어도 큰 모델을 시도할 여지는 있습니다. 그러나 표시된 32GB 전체를 LLM에 쓸 수 있는 것은 아닙니다. macOS, 앱, 화면 처리, 파일 캐시가 같은 메모리 풀을 사용하기 때문입니다.

통합 메모리가 부족하면 저장장치 스왑이 발생할 수 있습니다. 모델이 로드되었다는 이유만으로 편안하게 사용할 수 있다고 판단하지 말고, 긴 입력과 여러 앱을 동시에 사용할 때 메모리 압력이 높아지는지 확인해야 합니다. 조용한 맥에서 큰 모델을 실험하는 목적에는 통합 메모리가 매력적일 수 있지만, GPU 처리량을 중시하는 작업에서는 별도 GPU 구성이 더 적합할 수 있습니다.

두 구조를 한눈에 비교하기

구매 전에 확인할 네 단계

1. 모델 파일: 사용할 모델의 실제 양자화 파일 크기와 형식을 적습니다.
2. 실행 여유: 운영체제, 브라우저, 편집기와 동시에 열 앱이 사용할 공간을 남깁니다.
3. 컨텍스트: 짧은 질문과 긴 문서 중 어떤 입력을 주로 쓸지 정합니다. 컨텍스트가 길수록 캐시 공간도 고려해야 합니다.
4. 실행기 지원: GPU 가속, 레이어 오프로딩, 사용하는 운영체제와 드라이버 지원을 확인합니다.[3]

여기에 실제 사용 흐름을 붙여야 합니다. 짧은 질문만 처리할지, 긴 문서를 넣고 여러 앱을 함께 사용할지에 따라 필요한 여유가 달라집니다. 모델을 하나만 돌릴지 여러 모델을 번갈아 로드할지도 결정하세요. 숫자상 최소 조건에 맞추면 실행은 되더라도 모델 교체와 캐시 정리에 시간을 더 쓰게 될 수 있습니다.

상황별 선택 기준

전용 VRAM이 많다고 항상 빠른 것도 아니고, 통합 메모리가 많다고 GPU 연산이 같은 것도 아닙니다. 드라이버, 메모리 대역폭, 실행기 최적화, 양자화가 함께 결과를 만듭니다. 제품을 비교할 때는 “몇 B 모델이 실행된다”는 문장보다 내가 쓰려는 컨텍스트와 앱을 포함한 조건을 읽어야 합니다.

실행 가능성과 사용 가능성을 구분하기

작은 모델은 8GB 시스템에서도 실행될 수 있지만 응답 속도나 컨텍스트 길이가 만족스럽지 않을 수 있습니다. 반대로 30B급 모델이 큰 통합 메모리 맥에 올라가도 긴 문서와 여러 앱을 함께 열면 여유가 줄어듭니다. 모델을 처음 로드하는 시간, 첫 토큰까지의 대기, 답변 중 토큰 처리 속도를 각각 봐야 어느 부분이 병목인지 알 수 있습니다.

테스트를 한다면 같은 모델과 양자화, 같은 프롬프트 길이로 짧은 입력과 긴 입력을 나누고, 메모리 압력이나 오프로딩 상태를 함께 기록하세요. 이를 특정 제품의 보장된 성능으로 해석하면 안 됩니다. 환경이 바뀌면 결과도 바뀔 수 있습니다.

모델을 바꿀 때 생기는 차이

같은 파라미터 수라도 양자화 방식과 모델 구현에 따라 파일 크기와 메모리 사용량이 달라질 수 있습니다. 또한 일부 실행기는 GPU에 더 많은 레이어를 올릴수록 빨라질 수 있지만, 전체 모델이 VRAM에 들어가지 않으면 오프로딩 비율을 조정해야 합니다. 설정값 하나가 실행 성공과 응답 속도를 동시에 바꾸므로, 인터넷에서 본 권장 숫자를 그대로 복사하기보다 자신의 모델 파일과 실행기 옵션을 기준으로 기록하세요.

문서 작업이 목적이라면 컨텍스트 길이를 늘리는 것만으로 품질이 자동으로 좋아지는 것은 아닙니다. 입력이 길어질수록 캐시와 처리 시간이 늘고, 모델이 문서의 어느 부분을 참고하는지 확인하기도 어려워집니다. 자주 쓰는 작업을 짧은 질문, 중간 길이 문서, 긴 문서로 나누어 필요한 메모리와 대기 시간을 비교하면 구매 기준이 더 분명해집니다.

자주 묻는 질문

VRAM 8GB면 8GB 모델이 항상 들어가나요?

아닙니다. 가중치 외에 KV 캐시와 런타임 공간이 필요합니다. 파일 크기와 실행 옵션을 함께 확인하세요.

통합 메모리 32GB는 VRAM 32GB와 같은가요?

같지 않습니다. 통합 메모리는 시스템과 앱이 함께 사용하고, VRAM은 GPU가 전용으로 사용합니다.[1][2]

메모리가 크면 무조건 빨라지나요?

메모리 부족으로 인한 스왑과 오프로딩은 줄일 수 있지만, GPU 성능과 실행기 설정이 속도를 함께 결정합니다.

무엇을 먼저 업그레이드해야 하나요?

현재 모델이 메모리 부족으로 실패하는지, 아니면 모델은 올라가지만 연산이 느린지 구분하세요. 전자는 용량, 후자는 GPU 성능·대역폭·실행기 설정이 더 직접적인 원인일 수 있습니다.

RAM의 기본 개념은 RAM이란 무엇일까? 8GB·16GB·32GB·64GB, 많을수록 정말 좋을까?에서, 긴 입력이 메모리에 미치는 영향은 AI의 토큰과 컨텍스트 창, 긴 질문이 잘리는 이유에서 이어서 확인할 수 있습니다.

Sources

1. [1] NVIDIA, GeForce RTX 40 Series Graphics Cards
2. [2] Apple Developer, WWDC20 Explore the new system architecture of Apple silicon Macs
3. [3] ggml-org, llama.cpp