컨텍스트 윈도우

컨텍스트 윈도우(Context Window)는 언어 모델이 답변 하나를 만들 때 참고할 수 있는 입력과 출력 전체의 최대 범위입니다. 대화 기록, 시스템 지시, 첨부 문서, 도구 설명과 실행 결과가 모두 이 공간을 함께 쓰며, 보통 토큰 수로 크기를 잽니다.

무엇이 컨텍스트에 들어가나

컨텍스트 윈도우는 모델이 학습할 때 읽은 전체 자료와 다릅니다. 학습 데이터는 모델의 능력과 지식을 만드는 재료이고, 컨텍스트는 지금 요청을 처리하는 동안 펼쳐 둔 작업 자료입니다. Anthropic의 컨텍스트 윈도우 문서는 시스템 프롬프트, 이전 대화, 현재 질문, 이미지와 문서, 도구 정의, 도구 실행 결과뿐 아니라 새로 생성할 답변도 같은 한도에 포함된다고 설명합니다. 프롬프트 캐싱으로 비용을 줄인 입력도 공간 계산에서는 빠지지 않습니다.

예를 들어 계약서 검토를 맡기면서 300쪽 문서, 회사 검토 기준, 앞서 나눈 대화, 출력 양식을 함께 전달했다고 가정해 보겠습니다. 모델은 이 자료를 모두 컨텍스트 안에서 읽고 답변을 쓸 자리도 남겨야 합니다. 입력만 한도 가까이 채우면 긴 분석을 요구해도 출력 공간이 부족해질 수 있습니다. 제품 설명에 적힌 최대 토큰 수만 보고 넣을 수 있는 문서 분량을 계산하면 실제 사용량과 어긋납니다. 지시와 대화 기록, 도구 정보, 원하는 답변 길이까지 빼고 계산해야 합니다.

토큰은 글자나 단어와 정확히 일치하지 않습니다. 언어와 문장 구성, 코드와 기호에 따라 같은 글자 수도 서로 다른 토큰 수가 될 수 있습니다. 한국어 몇 글자가 언제나 몇 토큰이라는 고정 환산은 믿기 어렵습니다. API를 설계할 때는 서비스가 제공하는 토큰 계산 기능으로 실제 요청을 재는 편이 안전합니다. Anthropic도 전송 전에 사용량을 추정할 수 있도록 토큰 계산 API를 따로 안내합니다.

넓다고 항상 정확한 것은 아니다

넓은 컨텍스트는 긴 코드베이스와 여러 보고서, 장시간 대화를 한 요청에서 다룰 수 있게 합니다. 하지만 자료가 들어갔다는 사실과 모델이 필요한 내용을 정확히 찾아 쓴다는 사실은 다릅니다. 토큰이 많아질수록 관련 없는 문장, 서로 비슷한 후보, 오래된 지시가 함께 쌓입니다. 모델은 필요한 근거를 놓치거나 서로 다른 지시를 섞을 수 있습니다. Anthropic의 컨텍스트 엔지니어링 안내는 한정된 공간에 현재 작업과 직접 관련된 정보를 골라 넣으라고 권합니다.

여기서 컨텍스트 윈도우와 AI 메모리를 구분해야 합니다. 컨텍스트 윈도우는 현재 응답을 만들 때 모델이 직접 참고하는 범위입니다. 서비스의 장기 메모리 기능은 대화 밖에 정보를 저장했다가 필요할 때 컨텍스트로 불러옵니다. 검색 시스템과 RAG도 공간 자체를 늘리지 않습니다. 질문과 관련된 문서 조각을 골라 한정된 공간을 더 알차게 쓰도록 돕습니다.

또 하나 자주 생기는 오해는 대화가 길어지면 모든 서비스가 같은 방식으로 앞부분을 버린다는 생각입니다. 처리 방식은 제품마다 다릅니다. 어떤 채팅 서비스는 오래된 내용을 순서대로 제외하고, 어떤 API나 에이전트는 한도 초과 오류를 내거나 대화를 요약해 새 컨텍스트로 이어갑니다. 중요한 결정과 진행 상태를 외부 파일에 남기는 이유도 여기에 있습니다. 화면에 예전 대화가 보인다고 해서 그 전문이 현재 요청에 그대로 들어갔다고 단정할 수 없습니다.

실제 작업에서는 무엇을 판단하나

모델을 고를 때는 최대 크기만 비교하기보다 작업에 필요한 유효 컨텍스트를 먼저 계산합니다. 짧은 질문에는 넓은 창이 큰 이점이 없을 수 있습니다. 반면 저장소 전체에서 서로 얽힌 코드를 추적하거나 여러 계약의 조항을 비교한다면 더 넓은 범위가 유용합니다. 그래도 모든 파일을 통째로 넣기보다 질문과 직접 관련된 부분을 검색하고, 중복 로그와 오래된 도구 결과를 걷어내며, 답변에 필요한 여유를 남겨야 합니다.

긴 에이전트 작업에서는 세 가지를 함께 봅니다. 첫째, 현재 지시와 근거가 얼마나 많은 토큰을 차지하는지 측정합니다. 둘째, 끝난 단계의 상세 기록은 요약하되 결정, 미해결 문제, 파일 경로 같은 재개 정보는 보존합니다. 셋째, 검색된 자료가 질문과 실제로 관련 있는지 확인합니다. 대화가 한도에 가까워졌을 때 압축은 작업을 계속하게 해주지만, 잘못 요약하면 예외 조건이나 실패 이력이 사라질 수 있습니다. 압축본을 만들 때는 무엇을 버렸는지보다 다음 단계가 무엇을 반드시 알아야 하는지부터 정해야 합니다.

한 요청에 더 많은 자료를 넣을 수 있는지는 컨텍스트 윈도우가 결정하고, 그 자료에서 필요한 근거를 안정적으로 찾을 수 있는지는 모델 성능과 정보 배치가 좌우합니다. 긴 문서 분석이나 코딩 에이전트처럼 입력이 계속 늘어나는 작업에서는 현재 질문에 필요한 지시, 근거, 진행 상태를 남기고 나머지는 검색 가능한 외부 저장소나 요약 기록에 보관합니다. 이 구분이 있어야 답변 공간을 확보하고, 관련 없는 정보가 정확도를 떨어뜨리는 문제도 줄일 수 있습니다.