입력 토큰 (Input Token)

입력 토큰(Input Token)은 AI 모델이 응답을 생성하기 위해 전달받은 내용을 세는 토큰 단위입니다. 이용자가 방금 쓴 질문뿐 아니라 시스템 지시, 대화 이력, 도구 설명과 첨부 자료가 입력에 포함될 수 있습니다. 전체 요청을 어떤 형식으로 전달했는지에 따라 사용량이 달라지므로 화면의 마지막 질문 길이만으로 계산하지 않습니다.

요청을 구성하는 여러 입력

Claude의 토큰 계산 안내는 메시지 생성에 사용하는 구조화된 입력을 받아 토큰 수를 추정하며 시스템 프롬프트, 도구, 이미지와 PDF 같은 입력을 다룬다고 설명합니다. 모델이 참고하도록 보낸 정보가 입력 범위에 포함됩니다. 사용자가 한 문장을 보냈더라도 서비스가 긴 지시와 이전 자료를 붙였다면 요청 전체는 훨씬 커질 수 있습니다.

대화형 앱에서는 이전 질문과 답변을 다음 요청의 문맥으로 다시 보내는 구성이 흔합니다. 이 경우 앞선 응답은 생성 당시에는 출력이었지만 다음 호출에 포함될 때는 입력의 일부가 됩니다. 얼마나 많은 이력을 보존하는지는 앱의 구현에 달려 있습니다. 대화가 길어질수록 입력이 어떻게 늘어나는지 보려면 실제로 모델에 전달한 메시지 범위를 확인합니다.

도구를 사용하는 작업에서는 도구의 이름과 입력 규격, 실행 후 돌려받은 결과도 문맥을 차지할 수 있습니다. 검색 결과를 통째로 붙이는 방식과 필요한 문단만 골라 보내는 방식은 입력 크기가 다릅니다. 다만 길이만 줄이다가 근거와 조건을 지우면 응답을 검증하기 어려워집니다. 입력을 정리할 때는 무엇을 보존하고 무엇을 생략했는지도 기록합니다.

사전 계산과 실제 사용량

Gemini API의 토큰 안내는 요청 전에 입력을 계산하는 기능과 생성 뒤 응답의 사용량을 확인하는 방식을 나눕니다. 토크나이저와 입력 종류에 따라 계산 규칙이 달라지므로 글자 수를 고정된 비율로 나누는 방식은 정확한 검증을 대신하기 어렵습니다. 텍스트 외에 이미지나 다른 입력이 있다면 그 모델의 집계 방법도 확인합니다.

Claude 문서는 사전 계산값이 추정치이며 실제 메시지 생성에 사용된 입력 수와 조금 다를 수 있다고 명시합니다. 또한 계산 API가 모든 메시지 입력 기능을 똑같이 지원하는 것은 아닙니다. 서버 도구나 자료의 전달 형식에 따른 제한이 있으므로, 계산 요청이 실패했다고 실제 생성 요청도 같은 이유로 실패한다고 단정하지 않습니다. 지원하는 입력 형식을 문서에서 확인한 뒤 비교합니다.

컨텍스트 윈도우는 모델이 한 작업에서 다룰 수 있는 문맥 범위이고, 입력 토큰 수는 이번 요청이 사용하는 분량입니다. 모델에 따라 출력이나 사고 과정에 남겨야 하는 범위와 별도 입력 한도가 있으므로 큰 컨텍스트 숫자를 그대로 입력에 모두 사용할 수 있다고 가정하지 않습니다. 실제 요청 한도와 생성할 여유를 함께 확인하면 길이 때문에 요청이 거절되는 원인을 좁힐 수 있습니다.

캐시 입력과 비용의 해석

Claude의 프롬프트 캐싱 문서는 입력 사용량을 캐시 읽기, 캐시 생성, 캐시되지 않은 입력으로 나누어 설명합니다. cache_read_input_tokens, cache_creation_input_tokens, input_tokens를 합쳐 전체 입력을 계산하는 방식입니다. 이 API에서 input_tokens 필드 하나만 전체 입력이라고 읽으면 캐시한 긴 문맥을 계산에서 빠뜨리게 됩니다.

캐시된 입력도 모델이 참고하는 문맥의 일부입니다. 캐시를 사용해 처리나 비용을 줄이는 것과 요청의 문맥 자체가 없어지는 것은 다릅니다. 제공자마다 사용량 필드와 청구 기준이 다르므로 캐시 적중 결과를 비교할 때는 어떤 항목을 합산했는지 남깁니다. 사전 토큰 계산이 실제 캐시 적중 여부까지 재현한다고 보장하지도 않습니다.

여러 모델을 비교할 때는 같은 자료를 보냈더라도 각 모델의 토크나이저로 얻은 입력량을 확인합니다. 입력 단가가 낮아도 이력과 도구 결과를 반복해서 많이 보내면 작업 전체 비용은 커질 수 있습니다. 성공까지의 요청 수와 입력 총량, 캐시 사용량을 함께 기록하면 어떤 구성에서 비용이 달라졌는지 설명하기 쉽습니다. 문맥을 생략한 뒤에도 필요한 결과를 얻었는지 같은 완료 기준으로 확인합니다.