AI의 토큰과 컨텍스트 창, 긴 질문이 잘리는 이유

AI에게 긴 글이나 파일을 맡겼는데 앞부분을 놓치거나, 입력이 너무 길다는 안내를 받는 일이 있습니다. 이때 자주 등장하는 말이 토큰과 컨텍스트 창입니다.

토큰은 AI가 문장을 처리할 때 사용하는 작은 단위입니다. 컨텍스트 창은 한 번의 요청에서 모델이 참고할 수 있는 입력과 생성 결과의 총량입니다. 모델마다 계산 방식과 한도가 달라서, 글자 수만 세어서는 안전한 입력 길이를 알기 어렵습니다.[1][3]

토큰은 글자 수와 다르다

사람은 문장을 글자와 단어로 읽지만, 언어 모델은 입력을 토큰이라는 단위로 나눠 처리합니다. 짧은 단어는 토큰 하나가 될 수 있고, 긴 단어나 기호가 섞인 문자열은 여러 토큰으로 나뉠 수 있습니다.[3]

Google은 Gemini 모델에서 토큰 하나를 약 4개 문자로 설명하며, 100토큰을 영어 약 60~80단어로 안내합니다. 이 수치는 Gemini 문서의 대략적인 영어 기준입니다. 한국어, 코드, 표, URL, 이모지는 같은 글자 수라도 토큰 수가 달라질 수 있으므로 한국어 글에 그대로 곱하면 안 됩니다.[3]

토큰 수는 비용과도 연결될 수 있습니다. Google은 Gemini API 호출 비용이 입력 토큰과 출력 토큰 수에 따라 정해질 수 있다고 설명합니다.[3] 그래서 긴 문서를 붙여 넣을 때는 글자 수뿐 아니라 사용 중인 서비스가 제공하는 토큰 계산 기능을 확인하는 편이 정확합니다.

컨텍스트 창은 AI의 작업 공간이다

컨텍스트 창은 모델이 답변을 만들 때 참고할 수 있는 현재 요청의 범위입니다. Anthropic은 여기에 대화 메시지뿐 아니라 시스템 지침, 도구 결과, 이미지, 문서, 도구 정의, 그리고 모델이 이번 차례에 생성하는 출력까지 포함된다고 설명합니다.[1]

• 질문만 보내는 것이 아니라 이전 대화와 첨부 자료도 함께 계산됩니다.
• 입력이 길어질수록 답변을 만들 수 있는 공간이 줄어듭니다.
• 모델이 지원하는 컨텍스트 창의 크기는 모델과 제공 방식에 따라 다릅니다.

Google도 Gemini 모델마다 처리할 수 있는 최대 토큰 수가 있고, 컨텍스트 창이 입력과 출력 토큰을 합친 한도라고 설명합니다.[3] 같은 문서를 넣더라도 어떤 모델을 선택했는지, 출력 길이를 얼마나 예약했는지에 따라 결과가 달라질 수 있다는 뜻입니다.

모델마다 한도가 다른 이유

서비스마다 토큰을 나누는 방식과 한도를 정하는 방법이 다릅니다. Anthropic은 토큰 계산 API가 요청에 지정한 모델의 토크나이저로 토큰 수를 반환한다고 안내합니다.[2] 따라서 Claude에서 센 토큰 수를 Gemini의 토큰 수와 1:1로 비교하면 안 됩니다.

Anthropic의 현재 공식 문서에는 Claude 모델별로 1M토큰 또는 200k토큰 컨텍스트 창을 안내하는 사례가 함께 나옵니다. 문서에는 1M토큰 컨텍스트 창을 지원하는 모델과 200k토큰을 사용하는 모델이 구분되어 있습니다.[1] Google의 모델 목록도 모델별 컨텍스트 창을 별도로 제시합니다.[4]

기준일: 2026년 8월 30일. 모델 목록과 한도는 바뀔 수 있으므로 사용 직전에 해당 서비스의 공식 문서를 확인하세요.

긴 질문이 잘리는 네 가지 경우

이전 대화가 너무 길어진 경우

챗봇과 여러 차례 대화를 이어가면 새 질문만 보내는 것이 아니라 이전 메시지도 요청에 포함될 수 있습니다. 대화가 길어질수록 입력 토큰이 늘고, 컨텍스트 창에서 답변에 쓸 수 있는 공간이 줄어듭니다.[1]

필요한 내용만 새 대화로 옮기고, 오래된 대화는 짧은 요약으로 바꾸면 입력을 줄일 수 있습니다. 요약을 그대로 믿지 말고 이름, 날짜, 숫자처럼 중요한 항목은 원문과 대조하세요.

파일을 여러 개 넣은 경우

PDF나 이미지, 코드 파일은 글자만 있는 입력과 다르게 처리될 수 있습니다. Anthropic은 토큰 계산 대상에 이미지와 PDF를 포함할 수 있다고 설명합니다.[2] 파일을 여러 개 넣으면 문서 내용뿐 아니라 파일 처리에 필요한 입력도 한도에 영향을 줍니다.

파일 전체를 넣기 전에 필요한 페이지나 단락을 정하고, 문서마다 같은 질문을 반복하기보다 먼저 목차와 결론을 요청하는 식으로 범위를 나누는 편이 관리하기 쉽습니다.

답변을 길게 요청한 경우

컨텍스트 창은 입력만의 공간이 아닙니다. Google은 입력과 출력의 합산 한도로 설명하고, Anthropic도 모델이 생성하는 출력이 컨텍스트 창에 포함된다고 안내합니다.[1][3] 긴 자료를 넣고 “아주 자세히, 빠짐없이 써 달라”고 하면 입력과 출력이 함께 한도에 가까워집니다.

먼저 5개 항목으로 요약하게 한 뒤, 필요한 항목만 추가로 확장하면 실패할 가능성이 낮습니다. 분량을 지정할 때도 “길게”보다 “표 1개와 500자 요약”처럼 결과 형식을 정하는 편이 분명합니다.

코드·표·URL이 많은 경우

토큰은 단순히 글자 수를 일정 비율로 나눈 값이 아닙니다. 긴 식별자, 반복되는 기호, URL, 표의 열 구분자는 일반 문장과 다르게 나뉠 수 있습니다.[2][3] 코드나 CSV를 붙여 넣을 때는 필요한 함수와 오류 메시지만 먼저 보내고, 전체 파일은 관련 구간을 나눠 요청하세요.

초보자가 바로 쓸 수 있는 입력 순서

1. 원하는 결과를 한 문장으로 적습니다. 예: “이 안내문에서 환불 조건만 표로 정리해 줘.”
2. 자료 전체가 필요한지 정합니다. 필요한 페이지·문단·함수만 골라 입력합니다.
3. 모델 이름과 컨텍스트 창 안내를 확인합니다. 서비스마다 단위와 한도가 다릅니다.[1][3][4]
4. 긴 작업은 1차 요약, 2차 검토, 3차 최종 작성으로 나눕니다.
5. 날짜·금액·고유명사는 답변과 원문을 대조합니다. 컨텍스트 창이 크다고 답변의 사실성이 자동으로 보장되지는 않습니다.

자주 묻는 질문

토큰이 많으면 답변이 반드시 더 정확한가요?

아닙니다. 토큰은 입력과 출력의 양을 세는 단위에 가깝습니다. 자료가 길어지면 필요한 정보와 불필요한 정보가 섞일 수 있으므로, 질문 범위를 좁히고 원문 대조 절차를 두는 것이 더 중요합니다. Anthropic도 컨텍스트가 커진다고 정확도와 정보 회수가 자동으로 좋아지는 것은 아니라고 설명합니다.[1]

한국어 1,000자는 250토큰인가요?

그렇게 단정할 수 없습니다. Google의 “약 4개 문자당 1토큰”은 Gemini 문서의 근사적인 설명이며 영어 기준입니다.[3] 한국어 문장에서는 실제 서비스의 토큰 계산 결과를 사용하세요.

컨텍스트 창이 1M토큰이면 파일을 무제한으로 넣어도 되나요?

아닙니다. 1M토큰은 해당 모델의 입력과 출력에 사용할 수 있는 총 한도입니다. 실제 요청에는 대화 내용, 시스템 지침, 도구 결과, 이미지와 문서가 함께 포함될 수 있습니다.[1] 모델별 한도와 파일 처리 방식도 확인해야 합니다.

입력이 잘렸을 때 가장 먼저 무엇을 줄여야 하나요?

오래된 대화, 반복되는 안내문, 질문과 직접 관계없는 파일부터 줄이세요. 그다음 필요한 페이지나 코드 구간만 남기고, 답변 형식과 분량을 짧게 지정합니다. 숫자와 날짜는 줄인 뒤에도 원문으로 확인하세요.

정리

토큰은 AI가 입력과 출력을 나눠 세는 단위이고, 컨텍스트 창은 한 번의 요청에 들어가는 입력과 출력의 합산 공간입니다. 서비스마다 토크나이저와 모델별 한도가 다르므로 한국어 글자 수를 토큰으로 단순 환산하거나, 회사가 다른 모델의 수치를 그대로 비교하면 안 됩니다.[1][2][3]

긴 작업은 필요한 자료만 골라 여러 단계로 나누면 됩니다. 모델 문서에서 한도를 확인하고, 토큰 계산 기능이 있으면 실제 입력을 측정한 뒤, 답변의 숫자와 날짜는 원문과 다시 대조하세요.