NVIDIA Vera Rubin NVL72, MLPerf 첫 공개에서 최대 3.7배 처리량
AI를 활용하여 생성한 이미지입니다.
NVIDIA의 차세대 랙 스케일 시스템 Vera Rubin NVL72가 MLPerf Inference v6.1에서 첫 프리뷰 결과를 공개했어요. Qwen3-VL 기준으로 기존 GB300 NVL72보다 최대 3.7배 높은 처리량을 기록했다는 내용입니다.[1] 다만 이 숫자를 곧바로 모든 AI 서비스가 3.7배 빨라진다는 뜻으로 읽으면 안 돼요. 특정 모델과 시나리오, 소프트웨어 스택에서 나온 벤치마크 결과이기 때문이에요.[1]
무엇이 공개됐나
NVIDIA는 2026년 9월 16일 Vera Rubin NVL72의 MLPerf Inference v6.1 프리뷰 제출 결과를 설명했어요. Qwen3-VL에서는 오프라인·서버·대화형 시나리오를 통틀어 최대 3.7배 높은 처리량을 제시했고, DeepSeek-R1에서는 최대 2.5배 높은 처리량을 제시했습니다.[1] 결과에는 vLLM과 NVIDIA Dynamo, TensorRT-LLM 같은 소프트웨어 구성이 함께 쓰였어요.[1]
비교 대상인 GB300 NVL72도 만만한 시스템은 아니에요. NVIDIA는 72개 GPU가 들어간 한 랙에서 네 랙, 총 288개 GPU로 확장한 DeepSeek-R1 제출에서 99% 확장 효율을 기록했다고 밝혔습니다.[1] GPU를 네 배로 늘렸을 때 처리량이 거의 비례해 늘었다는 뜻이지만, 이 수치는 해당 제출 조건에 한정해 봐야 해요.[1]
소프트웨어 최적화의 영향도 컸어요. NVIDIA는 v6.1 제출에서 Qwen3-VL 성능이 v6.0보다 최대 1.6배 높아졌다고 설명했습니다.[1] 모델 가중치와 KV 캐시의 정밀도를 낮추는 방식, 커널 융합, 프리필과 디코드 분리 같은 방법이 포함됐어요.[1] 하드웨어 세대만 바뀐 결과가 아니라는 뜻입니다.
3.7배보다 중요한 비교 조건
| 항목 | 공개된 내용 | 읽을 때 주의할 점 |
|---|---|---|
| 측정 대상 | Qwen3-VL, DeepSeek-R1 등 | 다른 모델·컨텍스트 길이에서는 결과가 달라질 수 있어요 |
| 비교 대상 | Vera Rubin NVL72와 GB300 NVL72 | 같은 GPU 수, 같은 소프트웨어 구성이 아닐 수 있어요 |
| 수치 | Qwen3-VL 최대 3.7배, DeepSeek-R1 최대 2.5배 | 평균값이 아니라 최대치로 제시됐어요 |
| 확장 효율 | GB300 네 랙 288 GPU에서 99% | 랙 간 네트워크와 요청 분배 조건이 필요해요 |
| 결과 성격 | MLPerf Inference v6.1 프리뷰 제출 | 제품 전체의 보편적 성능 보증은 아니에요 |
NVIDIA가 설명한 Vera Rubin의 핵심은 GPU 한 장의 속도보다 랙 전체를 하나의 시스템처럼 묶는 데 있어요. NVLink와 NVLink Switch로 랙 내부 연결을 강화하고, 여러 GPU에 걸친 전문가 병렬화와 요청 오케스트레이션을 사용해 추론 작업을 나눕니다.[1] 모델을 실제 서비스에 올릴 때는 GPU 스펙보다 메모리 용량, 모델 병렬화 방식, 배치 크기, 입력과 출력 토큰 길이, 네트워크 지연이 함께 비용을 결정해요.[1]
기업이 바로 따라 사야 할까
아직은 구매 발표보다 검증 항목을 정리할 때에 가까워요. MLPerf는 비교에 쓸 수 있는 기준을 제공하지만, 실제 서비스가 Qwen3-VL이나 DeepSeek-R1과 같은 조건으로 동작하는지는 별도 시험이 필요합니다.[1] 특히 에이전트 서비스는 한 번의 답변보다 긴 컨텍스트, 도구 호출, 재시도와 동시 요청이 성능을 좌우해요.
도입을 검토한다면 먼저 현재 모델의 입력·출력 토큰 분포와 시간당 요청량을 기록하는 게 좋아요. 그다음 단일 GPU 서버, 기존 랙, 차세대 랙을 같은 모델과 같은 소프트웨어 버전으로 비교해야 합니다. 처리량만 보지 말고 사용자 한 명의 첫 토큰 지연시간, 전체 응답 지연시간, 전력당 처리량, 장애 때 작업이 얼마나 유지되는지도 함께 측정해야 해요.
국내 독자에게는 데이터센터 규모보다 연결망과 운영 소프트웨어가 더 직접적인 관심사일 수 있어요. 최근 국내에서도 GPU 사이의 광 연결과 데이터센터 네트워크를 따로 봐야 한다는 논의가 나왔습니다.[2] GPU를 추가하면 성능이 자동으로 늘어난다는 생각보다, 데이터 이동과 전력·냉각 병목을 먼저 계산하는 편이 현실적이에요.[2] 관련 배경은 GPU 다음은 광통신, AI 데이터센터 연결망 국산화가 중요한 이유에서도 이어서 볼 수 있어요.
남은 불확실성
이번 공개는 NVIDIA의 프리뷰 제출 결과를 바탕으로 한 발표예요. NVIDIA는 일부 결과가 제출 이후 소프트웨어 최적화로 더 좋아졌다고 설명했지만, 제출 후 수치는 아직 MLCommons가 검증하지 않았다고 따로 밝혔습니다.[1] 따라서 검증된 MLPerf 표와 NVIDIA가 자체적으로 제시한 후속 수치를 섞어 비교하면 안 됩니다.[1][2]
가격, 국내 공급 시점, 실제 시스템 구성과 전력 요구량도 이번 발표만으로는 알 수 없어요.[1] Vera Rubin NVL72가 모든 기업에 맞는 선택이라는 결론도 아직 이릅니다. 모델이 크고 요청이 많으며 랙 단위 확장이 필요한 사업자에게 먼저 의미가 있고, 소규모 추론 서비스라면 기존 서버의 소프트웨어 최적화가 더 값싼 해법일 수 있어요.[1]
독자가 확인할 순서
- 현재 사용하는 모델과 동일한 모델로 벤치마크 조건을 고정하세요.
- 평균 처리량과 최대 처리량을 구분해 기록하세요.
- 첫 토큰 지연시간과 전체 응답시간을 따로 측정하세요.
- 전력·냉각·네트워크 비용을 GPU 가격과 함께 계산하세요.
- 공식 MLPerf 검증 결과와 제조사 발표 수치를 구분해 보세요.
Vera Rubin의 첫 결과는 AI 인프라 경쟁이 GPU 세대만의 싸움이 아니라는 점을 보여줘요.[1] 하드웨어, 네트워크, 추론 소프트웨어를 같이 설계해야 랙 단위의 숫자가 실제 서비스 비용으로 이어집니다.[1] 다만 이번 수치는 특정 조건의 프리뷰 결과이므로, 도입 판단은 각자의 모델과 요청 패턴을 넣은 재현 시험 뒤에 내려야 합니다.[1]
