토큰

토큰(Token)은 AI 언어 모델이 텍스트를 처리할 때 사용하는 최소 단위입니다. 단어 전체일 수도 있고, 단어의 일부(서브워드)이거나 개별 문자일 수도 있습니다. 모델은 입력 텍스트를 토큰으로 쪼갠 뒤 각 토큰을 숫자로 변환하여 처리합니다.

토큰은 AI 서비스의 가격 책정 기준이자 성능 제한의 핵심 단위입니다. API 비용은 입력/출력 토큰 수에 따라 청구되고, 컨텍스트 윈도우 크기도 토큰 단위로 제한됩니다. 같은 내용이라도 토큰 수가 적을수록 비용이 절감되고 더 많은 정보를 한 번에 처리할 수 있습니다.

구체적인 예를 들면, 영어에서는 "Hello world"가 2토큰이고, 한국어에서는 "안녕하세요"가 약 3~4토큰입니다. 한국어는 영어보다 같은 내용을 표현하는 데 더 많은 토큰을 소모합니다. 영어 1단어가 대략 1토큰인 반면, 한국어 1글자는 약 2~3토큰에 해당합니다.

토큰이 실제로 어떻게 분할되는지 이해하면 AI 사용 비용을 더 잘 예측할 수 있습니다. 토큰 분할 방식은 모델마다 다르지만, 대부분은 BPE(Byte Pair Encoding) 방식을 사용합니다. 자주 등장하는 단어 조합은 하나의 토큰으로 묶이고, 드문 단어나 외래어는 여러 조각으로 나뉩니다. 예를 들어 'ChatGPT'는 많이 쓰이기 때문에 1토큰으로 처리되지만, 잘 쓰이지 않는 전문 용어는 3~4개의 토큰으로 분할될 수 있습니다.

입력 토큰과 출력 토큰의 비용은 서로 다릅니다. 대부분의 API 요금제에서 출력 토큰이 입력 토큰보다 3~5배 비쌉니다. 모델이 텍스트를 생성하는 과정이 단순 입력 처리보다 훨씬 많은 연산 자원을 필요로 하기 때문입니다. 그래서 긴 답변을 요청할수록 비용이 빠르게 증가합니다. 프롬프트에 명확한 답변 길이 제한을 두면 불필요한 출력 토큰 낭비를 방지할 수 있습니다.

컨텍스트 윈도우 크기는 모델이 한 번에 처리할 수 있는 최대 토큰 수를 의미합니다. Claude Opus 4.6는 약 100만 토큰의 컨텍스트를 지원합니다. 이는 약 750페이지 분량의 텍스트에 해당합니다. 하지만 컨텍스트 윈도우가 크다고 무조건 좋은 것은 아닙니다. 처리하는 토큰 수가 많을수록 비용도 늘어나고, 모델이 핵심 정보에 집중하는 능력이 떨어질 수 있다는 연구 결과도 있습니다.

토큰 수를 미리 확인하고 싶다면 OpenAI의 Tokenizer 웹 도구나 tiktoken 파이썬 라이브러리를 사용할 수 있습니다. 텍스트를 입력하면 몇 토큰인지 즉시 확인됩니다. Anthropic도 클로드 API에서 토큰 수를 반환하며, 이 정보를 모니터링하면 서비스 비용 예측과 최적화에 도움이 됩니다.

토큰과 관련된 중요한 개념이 토큰 예산(Token Budget)입니다. 복잡한 추론 작업에서 모델이 중간 사고 과정에 사용할 수 있는 최대 토큰 수를 제한하는 기능입니다. Anthropic은 확장된 사고(Extended Thinking) 기능에서 thinking_token_budget 파라미터를 지원하며, 이를 통해 모델이 얼마나 깊이 생각할지와 비용 사이의 균형을 조절할 수 있습니다. 단순한 작업에는 낮은 토큰 예산을, 복잡한 분석 작업에는 높은 토큰 예산을 설정하면 효율적인 비용 관리가 가능합니다.

멀티모달 모델에서는 이미지와 영상도 토큰으로 변환됩니다. Claude와 GPT-4o 같은 비전 모델은 이미지를 작은 패치(patch)로 분할한 뒤 각 패치를 토큰처럼 처리합니다. 이미지 해상도가 높을수록, 이미지 수가 많을수록 토큰 소비가 급격히 증가합니다. 예를 들어 고해상도 이미지 한 장이 수백 개의 토큰을 소비할 수 있습니다. 비전 기능을 포함한 서비스를 설계할 때는 이미지 크기를 줄이거나 저해상도 썸네일을 사용하는 것이 토큰 비용을 크게 줄이는 방법입니다.

토큰의 개념은 AI를 실제로 사용하는 모든 사람에게 기본적인 이해가 필요한 지식입니다. 요금 청구 방식을 이해하고, 프롬프트를 효율적으로 작성하고, 결과물의 길이를 적절하게 제어하는 모든 과정이 토큰 개념에서 출발합니다. 특히 한국어 사용자는 영어 대비 더 많은 토큰을 소비한다는 사실을 인지하고, 긴 설명보다는 핵심만 담은 간결한 프롬프트를 작성하는 습관을 들이는 것이 비용 효율에 도움이 됩니다.