리랭킹 (Reranking)

리랭킹(Reranking)은 1차 검색이 가져온 후보를 새로운 기준으로 다시 평가해 순서를 조정하는 단계입니다. 질문과의 관련성이나 서비스 규칙을 더 세밀하게 반영하며, 검색 결과나 RAG에 전달할 문서의 앞순위를 개선하는 데 사용합니다.

먼저 넓게 찾고 후보 안에서 다시 고른다

1차 검색은 큰 문서 집합에서 후보를 빠르게 모으는 역할을 합니다. BM25, 벡터 검색, 하이브리드 검색이 이 단계에 쓰일 수 있습니다. 대표적인 신경망 리랭커는 질의와 후보 문서 쌍을 받아 새 관련도 점수를 만들고 그 점수로 후보를 다시 정렬합니다. Sentence Transformers의 Retrieve & Re-Rank 문서는 빠른 검색으로 후보를 얻은 뒤 CrossEncoder로 다시 점수를 매기는 전형적인 2단계 구성을 보여줍니다.

리랭커가 볼 수 있는 범위는 1차 검색이 넘긴 후보에 한정됩니다. 정답 문서가 후보에서 빠졌다면 리랭커는 그 문서를 되살릴 수 없습니다. 후보 수를 줄이면 비용과 지연은 낮아지지만 재순위화할 정답 문서가 남을 가능성도 낮아질 수 있습니다. 후보 수를 늘리면 재현율을 확보할 여지가 생기지만 문서마다 추가 점수를 계산해야 합니다. 먼저 1차 검색의 Recall@k를 확인하고, 리랭킹 전후의 MRR이나 NDCG를 비교해야 어느 단계가 병목인지 알 수 있습니다.

예를 들어 “환불이 가능한 경우”를 검색했는데 상위 후보에 “환불이 불가능한 경우”와 “결제 취소 절차”가 함께 들어왔다고 가정해 보겠습니다. 단어와 주제가 비슷해 1차 검색 점수는 가까울 수 있습니다. 리랭커는 질문과 각 문서를 함께 비교해 긍정 조건을 실제로 설명하는 문서를 위로 올릴 수 있습니다. 다만 환불 규정 문서가 후보에 들어오지 않았다면 이 단계만으로 검색 누락을 고칠 수 없습니다.

CrossEncoder는 대표 구현이며 정의 전체는 아니다

바이 인코더는 질의와 문서를 각각 독립적으로 벡터화합니다. 문서 임베딩을 미리 계산할 수 있어 큰 문서 집합에서 후보를 찾는 데 유리합니다. CrossEncoder는 질의와 문서를 한 입력 쌍으로 처리해 둘 사이의 상호작용을 보면서 점수나 분류 결과를 냅니다. Sentence Transformers의 CrossEncoder 문서는 문장 쌍을 공동 처리하는 구조와 개별 문서 임베딩을 미리 계산할 수 없다는 차이를 설명합니다.

CrossEncoder는 널리 쓰이는 리랭커이지만 리랭킹이라는 작업을 한 아키텍처와 같은 뜻으로 보면 범위가 좁아집니다. 학습 순위 모델, 규칙과 비즈니스 신호를 결합한 점수 함수, 늦은 상호작용 모델, 생성 모델이 관련성을 판정하는 방식도 후보 순서를 다시 매길 수 있습니다. BERT passage reranking 원 논문은 BERT를 질의 기반 문단 재순위화에 적용한 대표 사례입니다. 어떤 구현이 맞는지는 문서 길이, 언어, 처리량, 개인정보 전송 조건과 품질 목표에 따라 달라집니다.

점수와 입력 한계를 실제 조건으로 확인한다

리랭커가 반환한 점수는 후보의 정렬에 쓰는 관련도 신호입니다. 점수가 0과 1 사이라고 해서 모든 구현에서 정답 확률을 뜻하지 않으며, 높은 점수가 문서 내용의 사실성까지 증명하지도 않습니다. Sentence Transformers 모델은 활성 함수 설정에 따라 원시 로짓이나 제한된 범위의 점수를 낼 수 있습니다. Cohere의 API도 relevance_score를 순위 비교에 제공하지만 0.9가 0.45보다 두 배 관련 있다는 해석은 정확하지 않다고 명시합니다.

문서 길이 제한도 결과에 영향을 줍니다. 질의와 문서를 함께 넣는 모델은 입력 한도를 넘는 부분을 자르거나 문서를 여러 조각으로 나눠 점수를 합쳐야 합니다. 답이 잘린 뒤쪽에 있으면 점수가 낮아질 수 있습니다. Cohere의 Rerank API 문서는 긴 문서를 max_tokens_per_doc에 맞춰 자르고 top_n으로 반환 수를 제한한다고 설명합니다. 사용하는 서비스나 모델의 자르기 위치와 긴 문서 처리 방식을 확인해야 합니다.

비용과 지연은 후보 수, 문서 길이, 모델 크기, 배치 방식과 실행 장치에 따라 달라집니다. 상위 20개만 다시 매길 때와 500개를 처리할 때의 부담은 같지 않습니다. 대화형 검색이라면 작은 후보 묶음으로 시작하고, 정답 누락이 확인될 때 늘리는 실험이 가능합니다. 긴 문서는 제목과 관련 구간을 함께 보내거나 검색 단계에서 적절한 청크를 만들 수 있지만, 잘못 자르면 필요한 문맥을 잃을 수 있습니다.

도입 효과는 같은 질문 집합에서 1차 순위와 재순위 결과를 비교해 판단합니다. 정답 문서의 순위, 최종 상위 k개의 품질, 지연, 처리 비용을 함께 기록합니다. 한국어와 영문, 짧은 FAQ와 긴 정책 문서처럼 실제 데이터 유형을 나눠 봐야 모델의 언어·도메인 차이를 발견할 수 있습니다. 점수 임계값을 업무 규칙으로 쓸 때는 별도 검증 세트에서 오탐과 누락을 측정하고, 문서의 사실 여부는 원문과 최신성을 따로 확인해야 합니다.