구글 TPU 8세대 공개, AI 학습용 TPU 8t와 추론용 TPU 8i가 갈라진 이유
AI를 활용하여 생성한 이미지입니다.
컴퓨팅 · 해외 이슈
구글이 9월 30일 AI 인프라용 8세대 TPU를 공개했어요. 이번 세대는 하나의 칩을 모든 작업에 쓰는 방식보다, 대규모 모델 학습에 맞춘 TPU 8t와 빠른 추론에 맞춘 TPU 8i를 나눠 제시한 점이 눈에 띕니다.[1]
TPU는 구글이 설계한 AI 전용 프로세서예요. CPU처럼 여러 종류의 작업을 두루 처리하기보다, 신경망 계산에 필요한 행렬 연산을 빠르게 수행하도록 설계돼 있습니다. 그래서 이름보다 중요한 건 어느 작업을 얼마나 오래 돌릴지예요. 모델을 만드는 학습과 사용자의 요청에 답하는 추론은 필요한 메모리와 지연 시간이 다르기 때문입니다.
8t와 8i는 무엇이 다른가요?
| 구분 | TPU 8t | TPU 8i |
|---|---|---|
| 주요 용도 | 대규모 모델 학습 | 낮은 지연 시간의 추론 |
| 구글이 강조한 방향 | 더 큰 연산 처리량과 확장성 | 에이전트·MoE 추론의 응답성 |
| 공개된 시스템 수치 | 최대 9,600개 칩, 2PB 공유 고대역폭 메모리, 121엑사플롭스 | 288GB 고대역폭 메모리와 384MB 온칩 SRAM |
| 공급 시점 | 두 제품 모두 2026년 후반 일반 제공 예정 | |
구글은 TPU 8t 한 개의 슈퍼팟이 최대 9,600개 칩과 2PB의 공유 고대역폭 메모리로 확장되며, 121엑사플롭스의 연산을 제공한다고 설명해요.[1] 이런 수치는 일반 PC 부품의 성능표와 직접 비교할 값이 아닙니다. 단일 칩보다 여러 칩을 하나의 학습 시스템으로 묶었을 때의 규모를 보여주는 숫자에 가까워요.
TPU 8i는 반복적으로 도구를 호출하는 AI 에이전트와 여러 전문가 모델을 조합하는 MoE 작업을 겨냥합니다. 구글은 288GB의 고대역폭 메모리와 384MB의 온칩 SRAM을 제시하면서, 모델의 자주 쓰는 작업 집합을 칩 가까이에 두어 대기 시간을 줄이는 방향을 설명했어요.[1]
왜 학습과 추론을 따로 설계할까요?
학습은 긴 시간 동안 대규모 데이터를 처리하면서 전체 처리량을 끌어올리는 일이 중요해요. 반면 추론은 사용자가 질문하거나 여러 에이전트가 다음 도구를 기다리는 동안 생기는 지연을 줄여야 합니다. 한 번의 응답이 조금 늦어지는 것보다, 에이전트 여러 개가 서로 결과를 주고받을 때 작은 지연이 계속 쌓이는 문제가 더 커질 수 있어요.
구글은 TPU 8i가 이전 세대보다 성능 대비 비용을 80% 높이고, 같은 비용으로 거의 두 배의 고객 요청을 처리할 수 있다고 밝혔습니다.[1] 다만 이 수치는 구글이 제시한 특정 시스템과 조건에 따른 비교예요. 실제 서비스에서 같은 결과가 나오는지는 모델 크기, 배치 크기, 네트워크 구성, 전력 비용, 소프트웨어 최적화에 따라 달라집니다.
새 칩보다 시스템 구성이 더 중요해요
이번 발표에서 함께 봐야 할 부분은 TPU 자체가 아니라 주변 시스템입니다. 두 제품은 구글의 Axion Arm 기반 CPU 호스트와 연결되고, 8세대 TPU는 네트워크·저장장치·소프트웨어를 묶은 AI Hypercomputer 안에서 제공될 예정이에요.[1] 가속기만 바꿔도 성능이 자동으로 올라가는 구조는 아닙니다.
학습을 도입하려는 기업은 모델을 TPU에 맞게 옮길 수 있는지, 기존 CUDA 중심 코드에서 바꿔야 할 부분이 얼마나 되는지, 데이터가 칩 사이를 오갈 때 병목이 생기지 않는지부터 확인해야 해요. 추론 서비스라면 평균 처리량보다 95·99퍼센타일 지연 시간, 동시 사용자 수, 장애가 난 칩을 우회하는 능력을 같이 봐야 합니다.
구글은 8t에 10배 빠른 저장장치 접근과 칩 간 연결을, 8i에는 MoE용 인터커넥트 대역폭과 온칩 집계를 내세웠어요.[1] 이런 기능은 대형 클러스터에서 의미가 크지만, 작은 모델을 소수의 요청만 처리하는 환경에서는 투자비와 운영 복잡도가 더 큰 문제가 될 수 있습니다.
한국 독자가 볼 포인트
- TPU 8t와 8i의 일반 제공 시점과 실제 사용 가능한 클라우드 지역을 확인하기
- 원하는 프레임워크와 모델이 TPU 8세대의 소프트웨어 스택을 지원하는지 확인하기
- 공개된 성능 대비 비용 수치에 테스트 조건과 비교 대상이 함께 적혀 있는지 확인하기
- 가속기 임대료뿐 아니라 네트워크, 저장장치, 전력, 데이터 이동 비용까지 계산하기
일반 사용자가 당장 TPU 8t나 8i를 직접 구매하는 상황은 아니에요. 이번 소식의 의미는 AI 서버가 더 이상 단순히 큰 칩을 많이 넣는 방향만으로 설명되지 않는다는 데 있습니다. 모델을 만드는 작업과 에이전트를 실제로 서비스하는 작업이 서로 다른 하드웨어 구성을 요구하고, 클라우드 사업자는 그 차이를 제품 단위로 나누기 시작했어요.
다만 실제 가격, 한국 리전의 제공 여부, 개별 모델의 성능, 전력 효율 측정 방법은 공개된 발표만으로 확정할 수 없습니다.[1] 일반 제공이 시작된 뒤에는 구글의 홍보 수치와 독립적인 비용·지연 시간 측정을 나눠서 봐야 해요.
함께 읽을 글
Linux zswap·zram·스왑파일의 메모리 압박 대응법처럼 시스템 자원 관리 글을 함께 읽으면, 대규모 가속기와 일반 운영체제에서 병목을 보는 관점의 차이도 비교할 수 있어요.
