AI의 토큰과 컨텍스트 창, 긴 질문이 잘리는 이유

AI를 활용하여 생성한 이미지입니다.

긴 문서와 여러 파일을 넣었는데 답변이 중간에 끝나거나 앞부분의 조건을 잊는다면, 단순히 글자 수가 많아서라고만 생각하기 어렵습니다. 토큰은 모델이 입력과 출력을 나누어 처리하는 단위이고, 컨텍스트 창은 한 요청에서 참고할 수 있는 대화·지침·파일·도구 결과와 생성할 답변을 담는 총 공간입니다. 모델마다 토크나이저와 한도가 다르므로 한국어 글자 수를 일정한 비율로 환산해서는 안 됩니다.[1][2]

토큰은 글자 수와 다릅니다

짧은 단어나 흔한 기호는 하나의 토큰에 가까울 수 있지만, 한국어 음절, 긴 단어, 이모지, 코드, 표, URL은 서로 다른 방식으로 나뉠 수 있습니다. 같은 문장도 모델과 토크나이저가 바뀌면 토큰 수가 달라집니다. Google은 Gemini 문서에서 토큰을 대략적인 문자 묶음으로 설명하지만, 그 설명을 모든 언어와 자료에 적용하는 계산 공식으로 제시하지는 않습니다.[2] 실제 API나 서비스가 제공하는 토큰 계산 도구를 사용해야 하는 이유입니다.

API에서는 입력 토큰과 출력 토큰이 사용량이나 비용에 연결될 수 있습니다. 긴 파일을 붙여 넣기 전에 글자 수만 세면 코드·URL·표의 실제 분할을 놓칠 수 있습니다. 특히 복사한 문서에 반복되는 머리말, JSON 키, 추적용 URL이 많으면 눈에 보이는 분량보다 토큰이 빠르게 늘어날 수 있습니다.

컨텍스트 창에 들어가는 항목

Anthropic은 컨텍스트에 대화 메시지뿐 아니라 시스템 지침, 도구 정의와 결과, 이미지·문서, 이번 차례에 생성할 출력까지 포함될 수 있다고 설명합니다.[1] Google도 모델별 입력·출력 토큰 한도로 설명합니다.[2] 따라서 “내가 새로 붙여 넣은 문서”만 계산하면 안 됩니다. 이전 대화가 길거나 파일을 여러 번 첨부했거나 도구 결과가 누적되면 새 질문에 사용할 여유가 줄어듭니다.

컨텍스트가 큰 모델이라고 답변의 정확성과 사실성이 자동으로 높아지는 것은 아닙니다. Anthropic 문서에는 모델에 따라 1M 토큰과 200k 토큰 같은 서로 다른 창 크기 사례가 제시되고, 모델 목록과 기능은 바뀔 수 있습니다.[1] 숫자만 비교하지 말고 내가 사용하는 모델 이름과 기준일, 입력·출력 제한을 함께 확인하세요.

긴 질문이 잘리는 네 가지 상황

이전 대화가 누적된 경우

새 질문만 보내는 것처럼 보여도 서비스는 이전 메시지를 함께 요청에 넣을 수 있습니다. 오래된 대화 전체가 필요하지 않다면 핵심 결정, 날짜, 숫자, 예외만 별도 요약해 새 대화로 옮기세요. 요약을 만든 뒤 원문과 중요한 값을 대조하고, 요약 자체를 사실의 최종 근거로 보지 않는 것이 좋습니다.

파일과 이미지가 여러 개인 경우

PDF와 이미지는 일반 텍스트와 다른 처리량을 요구할 수 있습니다. 문서 전체를 넣기보다 목차에서 필요한 장을 골라 보내고, 이미지에는 무엇을 읽어야 하는지 질문을 붙이세요. “이 파일을 모두 기억해 둬”보다 “3쪽의 표에서 합계와 예외를 추려 달라”처럼 범위를 정하면 불필요한 입력을 줄일 수 있습니다.

출력을 지나치게 길게 요청한 경우

입력과 출력이 총 한도 안에서 계산되므로 “빠짐없이 아주 길게 작성”을 요청하면 출력 공간이 부족해질 수 있습니다. 먼저 누락 없이 짧은 목차와 핵심 요약을 만들고, 확인된 항목만 두 번째 요청에서 확장하세요. 한 번에 완성본을 요구하는 것보다 단계별 결과를 검토하기도 쉽습니다.

코드·표·URL이 많은 경우

기호, 들여쓰기, 긴 식별자와 URL은 예상보다 많은 토큰을 만들 수 있습니다. 오류 메시지, 관련 함수, 실행 환경을 먼저 보내고 전체 저장소는 필요한 경우에만 나누어 전달하세요. URL을 줄이면 추적 정보가 사라질 수 있으므로, 단순히 잘라 붙이지 말고 어떤 주소가 근거인지 별도로 기록합니다.

긴 자료를 나누는 실전 절차

1. 사용 모델의 컨텍스트 한도와 토큰 계산 도구를 확인합니다.[2][3][4]
2. 요청의 결과를 한 문장으로 정하고 관련 없는 배경·반복 문장을 제거합니다.
3. 문서를 목차·장·필요 문단 순서로 나누고 각 묶음에 동일한 기준을 붙입니다.
4. 각 묶음에서 사실, 결정, 미해결 질문을 요약하게 합니다.
5. 요약을 원문과 대조한 뒤 최종 작성 단계에서 필요한 요약만 제공합니다.
6. 출력은 표의 열, 단계 수, 글자 수, 포함·제외 항목처럼 검증 가능한 형식으로 요청합니다.

중간 요약에는 원문 날짜와 숫자가 보존됐는지 표시하세요. 코드라면 의존 파일과 실행 환경을 함께 적고, 표라면 단위와 빈칸의 의미를 잃지 않게 합니다. 이미지나 PDF를 나눌 때는 시각 정보와 텍스트 정보가 서로 다른 것인지 구분해야 합니다.

모델을 바꿀 때 생기는 오해

같은 문서를 다른 모델에 넣어도 컨텍스트 한도, 토크나이저, 출력 제한, 파일 처리 방식이 다를 수 있습니다. 한 모델에서 들어간 분량이 다른 모델에서도 안전하다고 가정하지 마세요. Google의 모델 문서는 모델별 기능과 한도를 확인하는 기준이지만, 제품 화면의 실제 제한과 업데이트 시점은 서비스 안내를 함께 봐야 합니다.[4] 한도 안에 들어갔다는 사실도 전체 문서를 제대로 참고했다는 보장은 아닙니다.

체크리스트와 자주 묻는 질문

• 이전 대화·시스템 지침·도구 결과·첨부파일이 함께 들어가나요?
• 한국어 글자 수를 토큰 수로 단순 환산하지 않았나요?
• 출력 분량을 “길게” 대신 항목 수나 형식으로 지정했나요?
• 긴 자료를 단계별로 나누고 중간 요약을 확인했나요?
• 날짜·금액·고유명사를 원문과 다시 대조했나요?

토큰이 많으면 답변이 더 정확한가요?

아닙니다. 필요한 맥락은 도움이 되지만 관련 없는 내용은 핵심을 흐릴 수 있습니다. 범위를 좁히고 원문 대조 절차를 두는 편이 중요합니다.[1]

한국어 1,000자는 250토큰인가요?

단정할 수 없습니다. 언어와 토크나이저에 따라 달라지며, 서비스의 실제 계산 기능을 사용해야 합니다.[2][3]

컨텍스트가 1M이면 파일을 무제한으로 넣어도 되나요?

아닙니다. 입력·출력·지침·도구 결과·파일이 총 한도 안에서 계산되고, 파일 수나 요청 크기 같은 별도 제한도 있을 수 있습니다.[1]

출력이 중간에 끝나면 어떻게 하나요?

입력을 줄이고 결과를 목차·요약·세부 작성으로 나누세요. 이미 작성된 부분과 남은 항목을 분명히 지정하면 같은 내용을 반복할 가능성도 줄어듭니다.

관련 콘텐츠

• AI 에이전트란 무엇인가요? 챗봇과 다른 점, 초보자용 사용법
• 생성형 AI에 개인정보를 넣어도 될까? 초보자용 입력 전 점검표

비용과 출력 길이도 함께 계산하세요

컨텍스트 창은 단순히 “얼마나 많이 넣을 수 있는가”만의 문제가 아닙니다. 긴 입력을 넣으면 모델이 생성할 출력 공간이 줄고, API에서는 입력 토큰과 출력 토큰이 비용이나 사용량에 영향을 줄 수 있습니다.[2][3] 보고서처럼 결과가 길어야 한다면 먼저 필요한 출력 항목과 최대 분량을 정한 뒤, 남겨야 할 원문과 줄여도 되는 배경을 구분하세요. 입력을 무작정 줄이는 것보다 결론에 필요한 정의·예외·수치를 보존하는 편이 낫습니다.

반대로 자료를 너무 잘게 나누면 서로 다른 묶음 사이의 연결이 끊길 수 있습니다. 각 묶음에 문서명, 장 번호, 기준 날짜, 앞뒤 맥락을 붙이고 마지막에 누락된 항목을 확인하세요. 요약 단계에서는 “이 자료에서 확인된 사실”, “자료에 없는 내용”, “다음 묶음과 비교할 질문”을 분리하면 최종 작성 단계에서 추측이 섞이는 일을 줄일 수 있습니다.

컨텍스트가 남아 있어도 생기는 문제

한도 안에 들어간 모든 정보가 같은 비중으로 처리된다고 보장되지는 않습니다. 반복된 지침이나 긴 표의 일부가 핵심 요구를 가릴 수 있고, 오래된 대화의 조건이 새 질문과 충돌할 수도 있습니다. 새 요청에서 현재 기준일과 우선순위를 다시 적고, 반드시 사용해야 하는 근거를 짧게 인용하세요. 중요한 숫자·이름·날짜는 최종 답변에서 원문과 다시 대조해야 합니다.

Sources

1. [1] Anthropic: Context windows
2. [2] Google: Gemini API tokens
3. [3] Anthropic: Token counting
4. [4] Google: Gemini API models