토큰

토큰(Token)은 언어 모델이 입력을 읽고 출력을 만들 때 쓰는 처리 단위입니다. 토큰 수는 모델이 한 번에 다룰 수 있는 문맥의 크기와 API 사용량을 확인하는 기준이 됩니다.

글자나 단어와 다른 이유

사람에게 익숙한 글자 수나 단어 수와 토큰 수는 같은 값이 아닙니다. 텍스트용 토큰은 한 단어 전체일 수도 있고, 단어의 일부, 공백을 포함한 조각, 문장 부호처럼 더 작은 조각일 수도 있습니다. 예를 들어 영어 문장에서 공백은 앞 단어의 끝이 아니라 다음 단어의 시작 부분과 함께 묶여 처리되기도 합니다. OpenAI의 토큰 계산 안내는 영어 토큰의 길이가 한 글자에서 한 단어까지 넓게 나타날 수 있고, 다른 언어에서는 그 범위를 벗어날 수 있다고 설명합니다. 그래서 문자 100개나 단어 100개라는 정보만으로 API 요청의 토큰 수를 정확하게 짐작할 수는 없습니다. 실제 분할 결과는 선택한 모델과 그 모델의 토크나이저가 정합니다.

한국어도 영어와 다른 고정 비율로 환산하면 안 됩니다. 같은 한국어 문장이라도 자주 나타나는 음절, 띄어쓰기, 한자나 이모지, 코드와 URL의 섞임에 따라 잘리는 방법이 달라집니다. 번역문 두 개가 뜻은 같아도 토큰 수가 같을 이유는 없습니다. 긴 문서를 보낼 때 글자 수만 보고 자르기보다, 대상 모델에 맞춰 토큰을 실제로 세고 여유를 두는 편이 안전합니다. 토큰은 문장의 뜻을 사람이 읽는 단위가 아니라 모델이 수치 계산에 넣는 조각이라는 점을 먼저 기억해 두면 혼동이 줄어듭니다.

비용과 처리 한도

API에서는 보통 요청으로 들어간 입력 토큰과 모델이 만든 출력 토큰을 따로 기록하고 요금을 계산합니다. 두 단가와 캐시 처리 방식은 모델과 서비스의 가격표에 따라 달라집니다. 예를 들어 Anthropic의 API 가격 문서는 입력, 출력, 캐시 쓰기와 캐시 읽기를 별도 항목으로 제시합니다. 긴 답변이 항상 비싼지, 긴 자료를 붙이는 편이 비싼지는 어느 쪽 단가가 높은지와 실제 사용량을 함께 봐야 판단할 수 있습니다. 도구 정의, 도구 실행 결과, 검색으로 가져온 내용도 대화 문맥에 들어가면 입력 토큰에 포함될 수 있습니다.

컨텍스트 윈도우도 토큰 수로 표시됩니다. 일반적인 생성 요청에서는 입력 문맥과 생성할 출력이 이 한도를 함께 사용하므로, 답변에 필요한 토큰의 여유도 남겨야 합니다. Claude의 컨텍스트 안내도 입력과 새 출력이 같은 창을 사용한다고 설명합니다. 구체적인 계산 방식과 별도의 최대 출력 한도는 모델 문서에서 확인합니다. 새로 쓴 질문뿐 아니라 서비스가 해당 요청에 함께 보내는 이전 대화와 시스템 지시, 도구 관련 정보가 포함될 수 있습니다. 한도를 넘기면 요청이 실패하거나 앞부분을 줄여야 할 수 있습니다. 한도가 크다고 실제 사용량이 자동으로 커지는 것은 아니며, 긴 입력을 허용한다고 답변의 정확성이 보장되는 것도 아닙니다. 비용을 관리할 때는 프롬프트를 무작정 짧게 만들기보다, 꼭 필요한 자료만 보내고 각 요청의 usage 값에 해당 모델의 가격표를 적용해 그 요청의 비용을 계산하는 편이 낫습니다. 그 기록은 조건이 비슷한 다음 요청의 예산을 추정하는 자료가 되지만, 미래 요청의 비용을 확정하지는 않습니다.

토큰 수는 모델 업데이트와 요청 형식 변경에도 영향을 받을 수 있습니다. 같은 이름의 모델이라도 제공자가 인코딩이나 메시지 형식을 바꾸면 이전에 만든 계산기가 실제 청구와 어긋날 수 있습니다. OpenAI의 안내도 메시지 토큰 계산은 모델과 메시지 형식에 따라 달라질 수 있다고 설명합니다. 예산 경고나 사용량 한도를 만들 때는 고정된 환산식보다 서비스 응답의 사용량 값을 기준으로 조정하는 편이 낫습니다.

이미지와 음성까지 셀 때

멀티모달 요청에서는 모든 비용을 텍스트 토큰 하나로 뭉뚱그리면 계산이 틀어질 수 있습니다. 이미지 이해나 이미지 생성 서비스는 해상도, 세부 설정, 입력 이미지와 생성 이미지에 따라 별도 규칙을 둘 수 있습니다. OpenAI의 이미지 API 참조는 GPT 이미지 모델의 사용량에서 텍스트 토큰과 이미지 토큰을 구분해 돌려준다고 명시합니다. 조직 사용량 API도 텍스트, 이미지, 오디오 입력과 출력 토큰을 분리한 필드를 제공합니다. 그러므로 이미지 한 장을 ‘몇 토큰’이라고 일반화하기보다, 사용하는 모델의 문서와 응답 사용량을 확인해야 합니다.

실무에서는 요청 단위로 모델명, 입력·출력 사용량, 캐시 사용량, 이미지·오디오 사용량을 함께 저장해 두면 원인을 찾기 쉽습니다. 문서 요약 기능이라면 문서 조각의 토큰 수를 먼저 재어 컨텍스트 한도 안에 넣고, 답변 길이도 필요한 범위로 제한합니다. 이미지가 섞인 요청이라면 텍스트 길이만 줄여 비용이 해결된다고 기대하지 않습니다. 토큰은 제한과 청구를 읽는 공통 단위이지만, 최종 비용은 모델, 입력 형식, 캐시, 도구 사용 조건을 나누어 확인해야 정확합니다.