잃어버린 중간 (Lost in the Middle)

잃어버린 중간(Lost in the Middle)은 긴 입력의 중간에 놓인 관련 정보를 언어 모델이 덜 잘 사용하는 현상입니다. 원 논문이 조사한 과제와 모델에서 관찰한 경향입니다. 입력을 길게 받을 수 있는 용량과 그 안의 근거를 정확히 찾아 쓰는 능력을 구분할 때 사용합니다. 모든 모델과 모든 위치에서 같은 정도로 나타나는 고정 법칙으로 보지는 않습니다.

관련 정보의 위치를 바꾼 실험

Lost in the Middle 원 논문은 긴 입력 문맥에서 관련 정보를 찾아야 하는 과제를 분석했습니다. 연구진은 여러 문서를 이용한 질의응답과 키·값 검색을 사용했습니다. 입력 안에 필요한 정보가 존재하는지뿐 아니라 그 정보가 어느 위치에 놓였는지를 바꾸어 모델의 결과를 살폈습니다. 문맥 길이의 허용 범위와 실제 정보 사용 능력을 나누어 평가한 것입니다.

여러 문서 질의응답에서는 질문에 답할 근거가 여러 입력 문서 사이에 들어 있습니다. 키·값 검색은 특정 키에 대응하는 값을 찾는 식의 과제입니다. 두 과제는 긴 자료에서 필요한 부분에 접근하는 능력을 살피지만, 실제 서비스의 모든 추론과 대화를 대표하지는 않습니다. 결과를 해석할 때는 어떤 작업에서 성공 여부를 측정했는지부터 확인합니다.

관련 정보의 위치만 달라도 결과가 달라지면, 문서가 입력에 포함됐다는 사실만으로 모델이 그 문서를 충분히 사용했다고 판단하기 어렵습니다. 검색 결과를 긴 프롬프트에 넣는 시스템에서도 자료의 존재와 답변 근거의 사용을 나누어 볼 수 있습니다. 입력 로그에는 문서가 남아 있어도 출력에서 그 근거를 빠뜨리는 상황이 별도의 실패 유형이 됩니다.

컨텍스트 용량과 정보 사용의 차이

ACL Anthology에 실린 같은 논문은 관련 정보가 입력의 처음이나 끝에 있을 때 성능이 높은 경우가 많고 중간에서는 떨어지는 결과를 보고합니다. 긴 문맥을 명시적으로 지원하는 모델에서도 이런 저하가 관찰됐다고 설명합니다. 질의응답과 검색 과제의 결과를 긴 문맥 안의 정보 접근 문제로 해석한 연구입니다.

컨텍스트 윈도우는 한 요청에서 다룰 수 있는 입력과 출력의 범위에 관한 제약입니다. Lost in the Middle은 그 범위 안에 넣은 정보의 위치와 사용 성능에 관한 관찰입니다. 요청이 길이 제한을 넘어서 거부되는 문제와, 받아들인 요청에서 필요한 근거를 놓치는 문제는 다릅니다. 긴 문맥을 지원한다는 사양만으로 두 번째 문제가 사라졌다고 판단할 수는 없습니다.

컨텍스트 로트는 긴 문맥이나 쌓인 정보에 따라 정보 사용 품질이 떨어지는 문제를 더 넓게 다룰 때 쓰입니다. 중간 위치의 정보 접근이라는 구체적 현상을 모든 문맥 저하의 원인으로 바꾸면 다른 변수를 놓칩니다. 내용의 관련성, 문서 수, 서로 충돌하는 지시, 과제의 난이도도 별도로 살필 수 있습니다. 원 논문의 관찰 범위와 운영에서 붙인 넓은 설명을 구분합니다.

자료 배치와 답변 검증

원 논문의 분석 범위를 실제 시스템에 적용하려면 사용하는 모델과 과제로 위치 영향을 다시 확인할 수 있습니다. 같은 질문과 근거를 유지하고 관련 문서의 위치를 바꿨을 때 답변이 어떻게 달라지는지 비교합니다. 문서 내용과 순서를 한꺼번에 바꾸면 위치 때문에 생긴 변화인지 나누기 어렵습니다. 이 비교 방법은 연구 결과를 운영 조건에 맞춰 확인하는 해설입니다.

RAG에서는 검색으로 관련 자료를 찾은 뒤 모델에 전달합니다. 자료를 많이 넣는 선택과 필요한 근거를 잘 골라 배치하는 선택이 같은 결과를 주지는 않습니다. 중요한 문서를 앞에 옮겼다는 사실만으로 정답률 향상이 보장되는 것도 아닙니다. 필요한 조건과 예외를 보존한 상태에서 실제 질문에 맞는 답과 근거를 만들었는지 확인합니다.

평가 기록에는 모델 식별자, 입력 자료, 관련 정보 위치, 문맥 길이와 판정 기준을 함께 남깁니다. 답변이 길거나 근거 문서를 인용한 모양만으로 내용을 정확히 사용했다고 판정하지 않습니다. 인용한 문장이 실제 답을 지지하는지 대조하면 정보 검색 실패와 해석 실패를 나누기 쉽습니다. 이 용어의 원 연구 결과는 새로운 모델의 성능을 대신 측정한 자료가 아닙니다.