OpenAI Habitat, 매초 7천만 건 요청을 처리하는 ChatGPT 저장소의 구조
AI를 활용하여 생성한 이미지입니다.
ChatGPT를 열고 대화를 시작하는 일은 사용자에게는 한 번의 클릭처럼 보이지만, 서비스 안에서는 로그인 정보와 설정, 대화 상태를 여러 저장소에서 빠르게 읽어 와야 해요.[1] OpenAI는 9월 11일 온라인 저장 플랫폼 Habitat이 매초 7,000만 건이 넘는 요청을 처리하고, 매주 10억 명이 넘는 사람을 지원한다고 공개했습니다.[1]
숫자보다 눈여겨볼 변화
Habitat은 현재 거의 40개 지역에서 5억 페타바이트가 넘는 데이터를 다루는 분산 시스템이에요.[1] 처음부터 이 규모로 설계된 것은 아니고, 2년 전에는 단일 데이터베이스에 연결된 파이썬 클라이언트 라이브러리로 시작했다고 합니다.
서비스가 커지면서 저장 로직을 독립된 서비스로 떼어 내 배포와 관찰, 플랫폼 개선을 한 곳에서 관리하는 구조로 바꿨어요.[1] 제품마다 제각각 저장 방식을 만드는 대신 공통 계층을 두면 장애를 추적하고 변경 범위를 좁히기 쉬워집니다.[1] 반대로 공통 계층에 문제가 생기면 여러 제품이 함께 영향을 받을 수 있다는 부담도 생겨요.
파이썬에서 러스트로 옮긴 이유
OpenAI는 Habitat이 한때 초당 2,000만 건 이상의 요청을 파이썬으로 처리했지만, 규모가 더 커지면서 러스트 전환을 진행했다고 밝혔어요.[1] 2026년 2분기에 엔지니어 2명과 Codex, GPT-5.5를 이용해 서비스 전체를 다시 작성했고, 공개 시점에는 운영 요청의 95%가 새 러스트 서비스에서 처리된다고 설명했습니다.[1]
이 사례를 파이썬이 느리고 러스트가 무조건 빠르다는 이야기로 읽으면 곤란해요.[1] OpenAI는 CPU·메모리·네트워크·디스크 사용률뿐 아니라 비동기 이벤트 루프가 얼마나 바쁜지도 함께 측정해야 한다고 적었습니다.[1] 언어를 바꾸는 일보다 병목을 어디에서 찾고, 연결 재사용과 부하 분산을 어떻게 설계했는지가 더 중요하다는 뜻이에요.
저장소가 제품 경험을 좌우한다
온라인 저장소는 대화 본문만 보관하는 곳이 아니에요.[1] 계정 상태, Codex 설정, 새 대화에 필요한 여러 데이터 조회가 동시에 일어날 수 있습니다.[1] 응답이 조금만 늦어져도 사용자는 모델 자체가 느리다고 느낄 수 있고, 일부 저장 요청이 실패하면 대화나 설정이 제대로 이어지지 않을 수 있어요.
Habitat은 객체와 관계를 클라이언트가 미리 정의하는 NoSQL API를 사용한다고 설명합니다.[1] 이 구조는 제품마다 필요한 관계를 유연하게 표현하는 데 도움이 되지만, 데이터 모델을 잘못 잡으면 조회 경로가 복잡해질 수 있어요.[1] 큰 서비스일수록 저장 용량보다 어떤 요청이 어떤 데이터를 얼마나 자주 읽는지 파악하는 일이 먼저입니다.
다음 공개에서 확인할 부분
이번 글은 Habitat 확장 과정의 1부예요.[1] OpenAI는 다음 글에서 Azure Cosmos DB를 포함한 저장 계층과 5억 페타바이트 이상의 데이터를 어떻게 다루는지 설명하겠다고 예고했습니다.[1] 현재 공개된 내용만으로는 장애 빈도, 지역별 지연시간, 비용 구조까지 알 수 없습니다.
AI 서비스를 선택하거나 직접 운영하는 입장에서는 모델 이름만 보지 말고 저장소와 네트워크 구조를 함께 봐야 해요.[1] 데이터 보존 기간, 삭제 요청 처리, 지역별 저장 위치, 장애 때 읽기 전용으로 전환할 수 있는지도 실제 사용 조건에 포함해야 합니다.[1]
독자가 확인할 항목
- 서비스가 계정·대화·파일 데이터를 어느 지역에 보관하는지 확인해요.
- 삭제 요청 뒤 데이터와 백업이 언제까지 남는지 약관에서 찾아봐요.
- 장애가 나도 기존 대화를 읽을 수 있는지, 복구 목표 시간이 공개됐는지 살펴봐요.
- API를 붙일 때 초당 요청 한도와 재시도 정책을 먼저 정해요.
Habitat의 사례는 AI 경쟁이 모델 성능표만으로 끝나지 않는다는 점을 보여줘요.[1] 사용자가 늘수록 저장소와 관찰 도구, 장애 대응이 제품의 일부가 됩니다.[1] OpenAI의 다음 공개에서 저장 계층과 지역별 운영 조건이 더 드러나야 실제 비용과 신뢰성을 판단할 수 있어요.
Sources:
[1]
