컨텍스트 윈도우

컨텍스트 윈도우(Context Window)는 AI 언어 모델이 한 번에 처리할 수 있는 텍스트의 최대 크기를 의미합니다. 단위는 토큰(token)으로 측정하며, 모델은 이 범위 안에 있는 내용만 읽고 참조할 수 있습니다.

컨텍스트 윈도우 크기는 AI 모델의 실용성에 직접적인 영향을 줍니다. 컨텍스트가 클수록 더 긴 대화를 기억하고, 더 방대한 문서를 한꺼번에 분석할 수 있습니다. 반대로 컨텍스트가 작으면 오래된 대화 내용이 밀려나거나, 긴 문서를 여러 조각으로 나눠 처리해야 하는 불편함이 생깁니다.

주요 AI 모델의 컨텍스트 윈도우 크기를 비교하면, Claude Opus 4.6과 Sonnet 4.6은 최대 1,000,000토큰(100만 토큰)을 지원하며, GPT-5.4는 1,050,000토큰(105만 토큰), Meta의 Llama 4는 최대 10,000,000토큰(1천만 토큰)을 지원합니다. Google의 Gemini 3.1 Pro도 1,000,000토큰을 지원하여, 현재 주요 모델 대부분이 100만 토큰 이상을 처리할 수 있는 시대가 되었습니다.

토큰과 글자 수의 관계를 이해하면 컨텍스트 윈도우를 더 잘 활용할 수 있습니다. 영어는 평균적으로 단어 하나가 약 1~2토큰이며, 한국어는 글자 하나가 보통 2~3토큰을 차지합니다. 100만 토큰은 한국어 기준으로 대략 소설 10~15편 분량의 텍스트에 해당합니다. 이 정도 크기면 긴 법률 계약서, 방대한 코드베이스, 수백 페이지의 보고서를 한꺼번에 분석하는 것이 가능합니다.

컨텍스트 윈도우가 꽉 차면 모델은 어떻게 동작할까요. 대부분의 AI 서비스는 오래된 대화 내용부터 자동으로 잘라냅니다. 이를 컨텍스트 트리밍(trimming)이라고 합니다. 이 과정에서 초반에 나눈 중요한 지시나 정보가 사라질 수 있기 때문에, 긴 작업에서는 핵심 지시를 주기적으로 다시 입력하거나, 시스템 프롬프트에 고정해두는 방법을 사용합니다.

컨텍스트 윈도우 크기가 커진다고 해서 모든 문제가 해결되는 것은 아닙니다. 모델이 입력받은 정보 중에서도 앞부분과 뒷부분은 잘 기억하지만 중간 부분은 상대적으로 주목하지 못하는 현상이 있습니다. 이를 'Lost in the Middle' 문제라고 합니다. 그래서 중요한 정보는 가급적 프롬프트 앞이나 뒤에 배치하는 것이 효과적입니다.

컨텍스트 윈도우는 AI 모델 선택 시 중요한 기준 중 하나입니다. 짧은 질의응답이나 간단한 요약 작업에는 작은 컨텍스트로도 충분합니다. 하지만 전체 코드베이스 리뷰, 긴 계약서 분석, 여러 문서 비교처럼 많은 정보를 한꺼번에 참조해야 하는 작업에서는 큰 컨텍스트가 필수입니다. 컨텍스트 크기와 비용, 속도 사이의 균형을 고려해서 작업에 맞는 모델을 선택하는 것이 실용적입니다.

개발자 관점에서 컨텍스트 윈도우를 효율적으로 활용하는 방법으로는 RAG(Retrieval Augmented Generation)가 있습니다. 모든 문서를 한꺼번에 넣는 대신, 질문과 관련성이 높은 문서만 검색해서 컨텍스트에 포함하는 방식입니다. 덕분에 컨텍스트 비용을 절약하면서도 필요한 정보에 집중할 수 있습니다.

컨텍스트 윈도우의 비용 구조도 이해할 필요가 있습니다. 대부분의 AI API는 입력 토큰과 출력 토큰에 각각 다른 요금을 책정합니다. 입력 토큰이 많아질수록 비용이 증가하므로, 큰 컨텍스트를 무제한으로 활용하는 것은 비용 측면에서 부담이 됩니다. 실제 서비스를 개발할 때는 컨텍스트 크기와 비용 사이의 균형을 신중하게 설계해야 합니다. 예를 들어 모든 대화 히스토리를 유지하는 대신, 중요도 기반으로 요약하거나 선택적으로 포함하는 전략이 효과적입니다.

컨텍스트 윈도우 크기는 해마다 빠르게 증가하고 있습니다. 2020년대 초까지만 해도 대부분의 모델이 수천 토큰 수준에 머물렀지만, 2024~2025년에는 100만 토큰 이상이 일반화되었습니다. 이 변화는 AI의 활용 범위를 근본적으로 바꿔놓고 있습니다. 전체 코드베이스를 한 번에 분석하거나, 수백 페이지 분량의 계약서와 보고서를 즉시 검토하거나, 여러 시간에 걸친 회의 내용을 전부 기억하는 AI가 가능해졌습니다. 앞으로 컨텍스트 윈도우는 더욱 커지면서 AI의 가능성을 계속 확장할 전망입니다.

일반 사용자 입장에서 컨텍스트 윈도우를 체감하는 가장 흔한 상황은 긴 대화를 나누다 AI가 초반 내용을 잊어버릴 때입니다. 예를 들어 ChatGPT나 Claude에서 오랜 시간 대화하다 보면 초반에 말한 지시나 정보를 AI가 더 이상 반영하지 않는 경우가 생깁니다. 이는 컨텍스트 윈도우가 가득 차서 오래된 내용이 잘려나갔기 때문입니다. 이런 상황에서는 새 대화를 시작하거나 핵심 지시를 다시 요약해서 제공하는 것이 효과적인 대처 방법입니다.