AI 답변이 중간에 끊길 때, 출력 길이 설정부터 확인하는 법

AI를 활용하여 생성한 이미지입니다.

AI 답변이 문장 중간이나 JSON의 닫는 괄호 앞에서 멈추면 모델이 틀렸다고 먼저 판단하지 마세요. API 요청의 출력 토큰 상한, 특정 중지 문자열, 안전·오류 상태, 컨텍스트 한도 중 하나일 수 있습니다. 본문만 보면 원인을 구분하기 어려우므로, 답변과 함께 종료 이유와 사용량 메타데이터를 저장하는 것이 출발점입니다.

길이 제한을 높이면 더 많은 텍스트를 생성할 여지는 생기지만, 사실성·추론력·형식 준수가 자동으로 좋아지는 것은 아닙니다. 긴 작업은 출력 한도를 키우는 방법과 작업을 나누는 방법을 함께 비교해야 합니다.

글자 수와 토큰은 같은 단위가 아닙니다

API는 대개 글자 수가 아니라 토큰 단위로 입력과 출력을 다룹니다. 토큰은 문장, 단어, 코드, 숫자와 기호가 모델이 처리하는 단위로 나뉜 결과이므로, 같은 글자 수라도 언어와 내용에 따라 사용량이 달라질 수 있습니다. 따라서 “2,000자 써 줘”라는 지시와 API의 최대 출력 토큰을 설정하는 일은 같은 제어가 아닙니다.

Gemini API의 generationConfig에는 생성 방식을 조정하는 항목이 포함되며, maxOutputTokens는 응답 후보에 포함할 수 있는 최대 토큰 수를 제한합니다.[1] 기본값과 최대값은 모델에 따라 다를 수 있으므로 현재 모델의 문서와 SDK 지원 범위를 확인해야 합니다.

끊김의 모양으로 첫 분류를 합니다

Google 문서에 따르면 stopSequences는 지정된 문자열이 처음 나타나는 지점에서 생성을 멈추게 하고 그 문자열 자체는 응답에 포함되지 않습니다. 최대 개수와 실제 지원 범위는 API 문서를 기준으로 확인해야 하며, 짧고 흔한 문자열은 일반 문장 안에서 예상하지 못한 종료를 만들 수 있습니다.[1]

finishReason을 본문보다 먼저 읽습니다

응답이 끝난 뒤에는 마지막 문장만 읽지 말고 후보별 finishReason을 확인하세요. Google 문서에서 STOP은 자연스러운 종료나 중지 시퀀스, MAX_TOKENS는 요청한 최대 토큰 수 도달, SAFETY는 안전상의 이유로 후보가 신고된 경우를 뜻합니다.[1] 종료 이유가 다른데도 모두 “길이가 부족하다”고 처리하면 불필요하게 상한만 높이게 됩니다.

usageMetadata에는 생성 요청의 토큰 사용량이 포함될 수 있습니다.[1] 운영 로그에는 모델 이름과 버전, 요청 시각, 입력·출력 토큰, 종료 이유, 오류와 안전 관련 정보를 함께 남기되, 사용자 개인정보나 민감한 원문을 무제한 저장하지 않도록 보존 기간도 정하세요.

점검 순서

1. 문장, 목록, JSON, 코드 중 어느 구조에서 끊겼는지 확인합니다.
2. 요청과 SDK 설정에서 maxOutputTokens가 지정됐는지 찾습니다.
3. stopSequences가 비어 있는지, 답변에 나올 법한 문자열인지 봅니다.
4. finishReason, 오류, 안전 정보, 사용 토큰을 함께 기록합니다.
5. 같은 입력과 설정으로 한 번만 비교 재시도해 원인이 반복되는지 봅니다.
6. 상한을 키우는 경우와 작업을 분할하는 경우를 별도로 비교합니다.

첫 재시도에서 결과가 완성됐다고 원인을 확정하지 마세요. 생성형 응답은 실행마다 길이와 내용이 달라질 수 있으므로, 같은 조건에서 종료 이유가 바뀌었는지 확인해야 합니다.

간단한 설정 예시를 읽는 법

{
  "generationConfig": {
    "maxOutputTokens": 800,
    "stopSequences": ["<<END>>"]
  }
}

위 값은 설정 항목이 어디에 놓이는지 보여 주는 예시일 뿐입니다. 실제 모델명, SDK 문법, 지원되는 필드와 값의 범위는 사용하는 Gemini API 문서에서 확인하세요.[1] 애플리케이션이 종료 표식을 처리하지 않는다면 stopSequences를 잠시 제거한 결과와 비교할 수 있습니다. 반대로 파이프라인이 표식으로 다음 단계를 시작하도록 설계됐다면 그 표식이 일반 답변에 섞이지 않는지 먼저 검토해야 합니다.

상한을 높이기 전에 작업을 나눌지 판단합니다

컨텍스트 한도는 입력과 출력이 함께 영향을 줄 수 있습니다. 출력 상한만 늘리고 오래된 대화와 중복 문서를 그대로 보내면 오히려 요청이 불안정해질 수 있습니다. 긴 결과는 장마다 나누고, 각 단계의 결과를 파서나 체크리스트로 확인한 뒤 다음 단계에 전달하세요.

stopSequences는 구분자이면서 숨은 종료 조건입니다

애플리케이션이 <<END>> 같은 표식 뒤의 내용을 별도 처리하도록 설계했다면 중지 시퀀스가 유용할 수 있습니다. 하지만 콜론, 줄바꿈, 짧은 단어처럼 일반 답변에 자주 나오는 값을 넣으면 정상적인 문장이나 코드 안에서 생성이 멈출 수 있습니다. 표식을 바꿀 때는 응답에 그 표식이 실제로 포함되는지와 finishReason이 어떻게 바뀌는지를 함께 확인하세요.

중지 문자열을 제거한 비교에서도 같은 위치에서 끝난다면 maxOutputTokens나 컨텍스트 한도를 다시 봅니다. 반대로 표식을 바꾼 뒤 종료 위치가 달라지면 길이 부족이 아니라 애플리케이션의 종료 규칙이 원인이었을 가능성이 커집니다.

형식별 복구 방법

일반 문장은 마지막 완성 문장과 누락된 범위를 알려 주고 이어 쓰기를 요청할 수 있습니다. 이미 나온 부분을 반복하지 말라고 명시하고, 최종 결과는 처음부터 읽어 중복과 누락을 확인하세요.

JSON, CSV, 코드처럼 형식이 중요한 결과는 잘린 문자열을 그대로 합치지 마세요. JSON 파싱이 실패하면 원본 조각을 임시 보관하고, 객체를 작은 단위로 다시 요청하거나 처음부터 재생성합니다. 이어 붙이기 전에 괄호 하나를 손으로 추가하는 방식은 구조적으로 유효해 보여도 내용 필드가 누락됐을 가능성을 해결하지 못합니다.

안전·오류와 길이 제한을 분리합니다

답변이 비어 있거나 일부만 반환되면 MAX_TOKENS만 의심하지 마세요. 요청 형식, 사용 중인 모델의 지원 범위, promptFeedback, 안전 관련 응답과 네트워크 오류를 확인해야 합니다.[1] 안전상의 이유로 차단된 응답에 상한을 더 크게 주는 것은 해결책이 아닙니다. 고위험 주제라면 출력이 길어지는 것보다 근거 확인과 사람의 검토가 더 중요합니다.

자주 묻는 질문

maxOutputTokens를 크게 하면 답변이 더 정확해지나요?

아닙니다. 생성할 공간을 늘릴 뿐 정확성이나 근거를 보장하지 않습니다. 숫자와 핵심 사실은 원문이나 신뢰할 수 있는 자료와 따로 대조해야 합니다.

항상 같은 글자 수에서 끝나면 오류인가요?

출력 토큰 상한일 가능성은 있지만 stop sequence, 안전 차단, 요청 오류도 가능합니다. 글자 수만 세지 말고 종료 이유와 사용량을 함께 읽으세요.[1]

화면형 AI 채팅 앱에서도 값을 바꿀 수 있나요?

항상 그렇지는 않습니다. maxOutputTokens와 stopSequences는 API 요청의 필드명일 수 있으므로, 소비자용 앱의 설정 화면과 개발자 문서를 구분해야 합니다.

이어 쓰기로 잘린 JSON을 복구하면 안 되나요?

가능한 경우도 있지만, 잘린 조각을 그대로 이어 붙이면 중복 필드나 누락된 괄호를 놓칠 수 있습니다. 먼저 파서로 원본이 유효한지 확인하고, 누락 범위를 명시해 다시 요청한 뒤 최종 JSON 전체를 다시 파싱하세요. 필수 필드 검사도 함께 해야 합니다.

Sources

1. [1] Google AI for Developers, Generate content API

관련 글: AI의 토큰과 컨텍스트 창, AI 답변이 맞는지 확인하는 5단계