컨텍스트 로트 (Context Rot)

컨텍스트 로트(Context Rot)는 언어 모델에 제공하는 컨텍스트가 길어질수록 그 안의 정보를 찾고 정확히 사용하는 성능이 불규칙하게 떨어지는 현상으로, 컨텍스트 부패라고도 합니다. 최대 한도를 넘지 않았는데도 회상, 구분, 추론이 흔들릴 수 있습니다.

공간이 남아도 성능은 떨어질 수 있다

컨텍스트 부패는 오래된 대화가 한도 밖으로 잘려 나가는 현상만 가리키지 않습니다. 필요한 문장이 여전히 입력 안에 있어도, 주변 정보가 많아지면 모델이 그 문장을 놓치거나 비슷한 내용과 혼동할 수 있습니다. 그래서 “문서가 컨텍스트 안에 들어갔으니 모델이 기억한다”는 말은 충분하지 않습니다. 물리적인 수용량과 정보를 안정적으로 사용하는 능력을 따로 봐야 합니다.

이 용어를 널리 알린 Chroma의 Context Rot 연구는 18개 언어 모델에 여러 길이의 입력을 주고, 과제 난도를 가능한 한 고정한 채 길이 자체의 영향을 살폈습니다. 단순 검색, 뜻을 연결하는 검색, 방해 문장이 섞인 검색, 대화 기억, 반복 문장 재현을 나누어 시험했습니다. 입력이 길어질수록 성능이 일관되지 않게 떨어졌고, 질문과 정답의 표현이 다르거나 비슷한 방해 정보가 있을 때 저하가 더 두드러졌습니다.

예를 들어 긴 고객 상담 기록 안에 “배송지는 부산에서 대전으로 바꿔 달라”는 최신 요청이 한 번 있고, 앞뒤에는 부산 주소를 반복한 오래된 대화가 많다고 가정해 보겠습니다. 모델이 최신 요청을 찾아도 주변의 비슷한 문장에 끌려 부산을 답할 수 있습니다. 정답 문장이 사라진 것이 아니라 여러 후보 사이에서 무엇이 현재 유효한지 구분하지 못한 사례입니다. 긴 코드 작업에서도 같은 문제가 생깁니다. 이미 폐기한 구현의 로그와 현재 설계 문서가 함께 남아 있으면 모델이 옛 함수 이름이나 끝난 오류를 다시 꺼낼 수 있습니다.

컨텍스트 오염과 무엇이 다른가

컨텍스트 오염은 잘못됐거나 관련 없는 정보가 입력에 들어간 상태를 주로 설명합니다. 컨텍스트 부패는 입력이 길어질수록 정보 이용 성능이 저하되는 관찰 결과에 초점을 둡니다. 관련 없는 로그를 넣으면 두 문제가 함께 나타날 수 있지만, 깨끗한 자료도 위치, 표현의 유사도, 문서 구조에 따라 결과가 달라질 수 있습니다. Chroma 연구는 방해 문장과 무관한 문장을 구분했고, 입력의 자연스러운 순서를 뒤섞었을 때 처리 결과가 달라질 수 있음을 확인했습니다.

‘중간에서 길을 잃는 문제’와도 범위가 다릅니다. Lost in the Middle 연구는 긴 입력의 가운데 놓인 정보가 앞이나 뒤의 정보보다 덜 쓰이는 위치 편향을 보여줬습니다. 컨텍스트 부패는 가운데 위치만 다루지 않습니다. 입력 길이, 정보 위치, 질문과 근거의 표현 차이, 방해 정보의 성격, 구조가 함께 성능을 흔드는 더 넓은 현상입니다. 모든 모델이 같은 길이에서 같은 폭으로 떨어지는 것도 아닙니다. 그래서 특정 토큰 수를 보편적인 안전선처럼 제시하기 어렵습니다.

환각과도 구분할 필요가 있습니다. 환각은 모델이 근거 없이 틀린 내용을 만들어내는 출력 문제를 넓게 부릅니다. 컨텍스트 부패는 긴 입력에서 근거를 회상하거나 적용하는 신뢰도가 낮아지는 조건을 가리킵니다. 부패 때문에 모델이 틀린 주소를 만들어내거나 지시를 섞으면 결과가 환각처럼 보일 수 있지만, 모든 환각이 긴 컨텍스트 때문에 생기는 것은 아닙니다.

줄이는 방법과 판단 기준

첫 번째 대응은 현재 판단에 필요한 정보만 남기는 것입니다. 검색으로 관련 문서 조각을 고르고, 중복된 로그와 끝난 도구 결과를 빼며, 서로 충돌하는 지시에는 날짜와 현재 상태를 표시합니다. Anthropic의 에이전트 컨텍스트 엔지니어링 안내도 작업에 직접 필요한 정보를 선별하라고 권하며, 긴 작업에는 압축, 구조화된 메모, 역할을 나눈 에이전트를 제안합니다.

압축과 요약도 무조건 안전하지는 않습니다. 대화를 짧게 만들면서 승인 조건, 실패한 시도, 예외 조항을 없애면 더 짧지만 잘못된 컨텍스트가 됩니다. 긴 코딩 작업이라면 “결제 모듈 수정 중”만 남기지 말고 수정한 파일, 통과한 검사, 아직 재현되는 오류, 건드리면 안 되는 경계를 기록해야 합니다. 고객 상담이라면 가장 최근 주소와 변경 시점, 취소된 선택지를 구분해 남겨야 합니다. 요약의 품질은 길이가 아니라 다음 판단에 필요한 상태를 보존했는지로 평가합니다.

실제 시스템에서는 같은 질문을 여러 입력 길이로 시험하는 방법이 유용합니다. 짧은 핵심 자료, 전체 문서, 방해 정보가 섞인 자료에서 정확도와 근거 인용을 비교합니다. 정보 위치를 앞, 중간, 뒤로 바꾸고, 정답과 비슷한 문장을 추가했을 때 흔들리는지도 확인합니다. 한 번의 ‘바늘 찾기’ 성공만으로 긴 컨텍스트 성능을 보장하지 말아야 합니다.

최대 컨텍스트 수치는 담을 수 있는 상한을 알려주지만, 그 안의 모든 정보를 같은 정확도로 쓴다는 보증은 아닙니다. 긴 입력이 꼭 필요한 작업에서는 검색 정확도, 요약의 보존성, 지시 충돌 처리, 근거 추적까지 함께 설계해야 합니다. 컨텍스트를 줄였을 때 결과가 더 정확해진다면 서로 비슷하거나 관련 없는 정보가 정답과 함께 주목받는 상황이 줄어든 결과일 수 있습니다.