오류 코드 하나를 찾는 검색과 “업무용 장비를 더 오래 빌리는 절차”를 찾는 검색은 필요한 일치 기준이 다릅니다. 전자는 코드 자체가 답의 대상을 정하고, 후자는 문서와 질문이 다른 낱말을 써도 같은 절차를 찾아야 합니다. Azure AI Search의 하이브리드 검색 설명은 벡터 검색의 개념적 유사성과 제품 코드·전문용어·이름에서 키워드 검색이 갖는 장점을 구별합니다.
선택은 문서에 있는 말과 질문에 있는 말의 관계에서 시작합니다. 결과 목록에 비슷한 주제가 많이 나온다고 필요한 문서를 찾았다고 판정하면, 고유 식별자가 틀린 문서도 성공으로 세게 됩니다.
오류 코드와 문서 번호를 보존하는 키워드 검색
키워드 검색은 색인된 낱말과 질의의 낱말을 맞추어 후보를 찾습니다. 제품명, 오류 코드, 규정 번호처럼 대상이 분명한 문자열이 질문에 있다면 그 문자열을 보존하는 경로가 유용합니다. 코드가 다른 안내문까지 상위에 올라오는지 함께 확인합니다.
다만 전문 검색은 문자열을 있는 그대로 비교하는 기능과 다릅니다. Azure AI Search의 분석기 설명에 따르면 색인과 질의 처리 중에 구두점을 지우거나, 하이픈이 있는 단어를 나누거나, 대문자를 소문자로 바꾸는 처리가 일어날 수 있습니다. 어떤 변환을 하는지는 선택한 분석기에 달려 있습니다.
가상 코드 CAM-104를 찾는다면 원본 필드, 색인 때 만든 토큰, 검색어가 변환된 토큰을 각각 대조합니다. 이 세 값이 다르면 결과를 더 많이 가져와도 코드가 구별되지 않을 수 있습니다. 설명문을 검색하는 필드와 식별자를 통째로 보존하는 필드를 나누는 안을 비교하면 원인을 좁히기 쉽습니다.
동일 코드의 구판·신판 문서가 함께 있을 때는 일치만으로 어느 판본을 답에 쓸지 정할 수 없습니다. 코드가 같아도 적용 제품이나 유효 기간이 다를 수 있어, 식별자 일치와 문서의 적용 범위를 따로 판단합니다.
표현이 다른 질문에서 벡터 검색을 쓰는 조건
벡터 검색은 질문과 문서를 임베딩으로 표현하고 그 표현 사이의 유사성으로 후보를 찾습니다. 문서 제목은 ‘대여 기간 연장’인데 질문은 “촬영이 끝나지 않아 하루 더 쓰는 방법”처럼 들어오는 경우에 검토할 수 있습니다. 같은 단어가 부족한 질문에서도 관련 후보를 찾는 것이 이 비교의 목적입니다.
의미가 비슷한 문서라도 적용 대상이 다르면 답에 쓰기 어렵습니다. 카메라와 마이크의 연장 절차가 비슷하게 적혀 있다면, 검색 결과의 장비 필드를 대조합니다. 임베딩 유사도를 사용자가 묻는 장비의 일치나 문서의 유효성을 대신하는 값으로 해석하지 않습니다.
질문에 필수 조건이 있으면 검색 순위와 함께 조건 필터를 설계합니다. Azure AI Search의 필터 설명은 메타데이터 값으로 결과를 포함·제외하는 기능을 다루며, 문자열 필터가 전문 검색의 낱말 분석과 다른 일치 방식을 쓴다고 설명합니다. 부서·제품·유효 기간처럼 데이터에 명시된 조건을 필터로 처리하면, 유사도 점수에 그 조건까지 맡기는 부담을 줄입니다.
자연어 질문에서 어떤 조건을 필터로 옮길지도 평가 대상입니다. “외부 촬영”을 단순히 ‘외부 사용자’ 필터로 바꾸면 서로 다른 개념이 됩니다. 질의를 다시 쓰거나 필터를 자동 생성하는 기능을 넣었다면 원래 질문과 변환 결과를 함께 남깁니다.
하이브리드의 순위 결합과 재순위화 구분
하이브리드 검색은 키워드와 벡터 검색을 각각 실행한 뒤 결과를 합치는 방식입니다. Azure AI Search 공식 설명에서는 두 검색을 병렬로 실행하고 RRF로 합친 하나의 결과 목록을 반환합니다. 이때 두 경로가 서로 다른 관련 문서를 보태는지, 같은 문서만 반복해 가져오는지가 비교할 대상입니다.
키워드 점수와 벡터 유사도를 그대로 더하면 두 점수의 크기와 의미가 같은지부터 문제가 됩니다. Azure AI Search의 RRF 설명은 검색 방식별 점수 범위가 다름을 보여 주고, 각 목록에서의 순위에 따른 기여를 더해 새 순위를 만드는 방식을 설명합니다. 원점수 숫자가 큰 목록을 자동으로 더 신뢰하는 방식과 구분됩니다.
가상 결과 목록에서 키워드 검색의 1위는 문서 A, 2위는 B이고 벡터 검색의 1위는 C, 2위는 A입니다. 동일 가중치의 RRF에서는 두 목록 상위에 모두 있는 A가 기여를 두 번 받습니다. 이 예시는 순위 결합 원리를 설명하며 실제 질의의 성능 결과는 아닙니다. A가 질문에 맞는지는 문서 내용을 읽어 따로 판정합니다.
재순위화는 이미 모은 후보와 질문을 더 자세히 비교해 순서를 다시 정합니다. Azure AI Search의 semantic ranker 설명은 초기 BM25 또는 RRF 결과를 입력으로 재정렬한다고 명시합니다. 재순위화에 전달한 후보 밖의 문서는 그 단계만으로 새로 찾지 못하므로, 필요한 문서가 처음부터 빠진 문제와 후보 안에서 뒤로 밀린 문제를 나눕니다.
후보 수를 늘리거나 재순위화를 추가하는 안은 처리 시간과 호출량까지 같이 비교합니다. 같은 문서의 비슷한 청크가 목록을 채우는 경우에는 청크 중복 제거와 원본별 묶기를 검토합니다. 어느 단계에서 묶느냐에 따라 서로 다른 근거가 남는 범위도 바뀝니다.
질문 유형과 필요한 결과를 잇는 비교표
아래는 장비 지식베이스를 가정한 검색 설계표입니다. 질의와 코드는 가상이며, 각 방식의 실제 정확도를 측정한 결과가 아닙니다. ‘먼저 비교할 경로’는 도입할 기능의 후보를 뜻합니다.
| 질문 유형 | 가상 질문 | 반드시 맞아야 할 결과 | 먼저 비교할 경로 | 함께 볼 실패 |
|---|---|---|---|---|
| 고유 코드 | CAM-104 오류 해결 | 해당 코드와 해당 장비의 안내 | 식별자 필드·키워드 | CAM-140 안내가 섞임 |
| 뜻을 바꾼 절차 질문 | 촬영이 길어져 하루 더 쓰는 방법 | 기간 연장 조건과 신청 절차 | 벡터와 키워드 각각 | 일반 대여 방법만 검색됨 |
| 코드와 의미가 섞인 질문 | CAM-104가 비 오는 야외에서 발생한 경우 | 정확한 코드와 야외 사용 조건 | 두 경로 결합 후 재순위화 | 코드만 맞고 사용 조건이 다른 문서 |
| 판본·날짜가 지정된 질문 | 시행 중인 카메라 대여 지침 | 조회 시점에 유효한 판본 | 유효 기간 필터와 내용 검색 | 폐기된 문서가 위에 남음 |
| 비슷한 이름 구분 | 마이크 연장 신청 | 마이크에 적용되는 규정 | 장비 필터와 키워드·벡터 비교 | 카메라의 연장 가능 규정 인용 |
| 정답 부재 | 문서에 없는 장비의 지원 여부 | 근거 부재를 식별할 정보 | 후보 내용 점검과 답변 보류 | 유사한 다른 장비로 단정 |
질문마다 ‘관련 있음’과 ‘답의 필수 근거임’을 나눠 라벨링합니다. 대여 절차를 넓게 소개한 문서는 관련은 있지만 연장 가능 여부를 정할 문장까지 없을 수 있습니다. 필수 근거의 문서·절과 제외해야 할 문서를 함께 적으면 검색 방식의 실패를 더 정확히 비교할 수 있습니다.
권한은 질의 유형과 관계없이 적용할 조건입니다. 검색 평가에서도 해당 사용자가 볼 수 있는 자료 집합을 기준으로 정답을 정합니다. 필터가 잘못됐거나 원문이 색인에 없는데 특정 검색 방식의 의미 이해가 나쁘다고 판단하면 다음 수정이 잘못될 수 있습니다.
같은 질문으로 회수·정렬·답변을 비교하기
비교할 때는 같은 자료 판본과 질문 묶음으로 키워드 단독, 벡터 단독, 두 경로 결합을 실행합니다. 청크, 권한, 메타데이터 필터, 벡터용 임베딩을 고정하고, 각 경로의 후보 수와 최종 반환 수를 기록합니다. 한쪽만 더 많은 후보를 쓰는 비교라면 그 차이를 조건으로 남깁니다.
첫 평가는 필수 근거가 후보 안에 들어왔는지입니다. 다음으로 생성 모델에 보낼 상위 결과 안에 남았는지 확인합니다. 마지막에는 같은 생성 조건으로 답을 만들어 사실·조건·인용을 대조합니다. 검색에서 개선된 질문이 최종 답변에서도 개선되는지 분리해 보면 후속 입력 구성의 문제를 찾을 수 있습니다.
평균 하나로 묶기 전에 코드 질문, 의미 질문, 혼합 질문의 실패 목록을 따로 읽습니다. 코드가 중요한 운영 문서에서 코드 검색이 나빠졌다면 다른 질문의 성공이 그 위험을 상쇄하지 못할 수 있습니다. 처리 시간도 동일한 실행 환경과 표본으로 기록해 품질과 함께 판단합니다.
키워드 단독으로 필요한 근거를 안정적으로 찾는 자료라면 추가 경로를 도입할 이유가 적습니다. 표현 차이 때문에 빠지는 질문이 남아 있다면 벡터 경로가 그 근거를 보태는지 시험합니다. 검색된 문서를 모델 입력에 어떤 순서와 범위로 담을지는 컨텍스트 선택과 배치의 설계 원칙과 연결해 판단할 수 있습니다.
자료 확인 기준: 2026년 10월 28일 UTC. 서비스별 분석기·필터·순위 결합·재순위화 동작은 개정될 수 있습니다.
문서를 어떻게 나눠야 AI가 제대로 찾을까: 청킹과 메타데이터
문장 한 줄을 찾았어도 제목과 예외가 떨어져 있으면 AI가 잘못된 대상에 적용할 수 있습니다. 같은 문서를 나누는 예시로 청크 경계와 출처 정보를 정하는 기준을 살핍니다.
RAG가 답을 못 찾는 이유: 문서·검색·생성을 나눠 진단하기
사내 문서를 연결했는데도 AI가 틀린 답을 내놓는다면, 근거가 사라진 지점부터 찾습니다. 같은 질문의 원본 문장, 검색 결과, 모델 입력, 최종 답변을 대조하는 진단 기준입니다.
AI 지식베이스를 최신으로 유지하는 법: 변경·삭제·권한 관리
원본을 고쳐도 검색에는 옛 청크가 남고, 문서를 지워도 저장된 답변이 다시 나올 수 있습니다. 원본 변경부터 검색 확인까지 버전·삭제·접근 범위를 연결해 관리하는 운영 기준입니다.
