RAG (검색 증강 생성)

RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 질문과 관련된 외부 자료를 검색해 생성 모델의 입력에 넣고, 그 자료를 바탕으로 답을 만들게 하는 시스템 구조입니다. 검색과 생성이 결합되지만 검색 결과나 답의 사실성을 자동으로 보장하지는 않습니다.

색인을 만드는 단계와 질문에 답하는 단계

RAG는 보통 자료를 준비하는 색인 단계와 요청을 처리하는 질의 단계로 나뉩니다. 색인 단계에서는 문서를 읽고 필요한 단위로 나눈 뒤 검색 가능한 형태로 저장합니다. 이 작업은 대량으로 미리 수행하고, 문서가 바뀌면 해당 부분을 다시 처리할 수 있습니다. 질의 단계에서는 사용자의 질문으로 관련 자료를 찾고, 선택한 자료와 질문을 생성 모델에 함께 전달합니다. 생성 모델은 검색된 문맥을 참고해 답변을 구성합니다.

2020년 RAG 원논문은 사전학습된 생성 모델의 매개변수 메모리와 위키백과의 밀집 벡터 인덱스를 결합했습니다. 이 구현이 널리 알려졌지만 RAG가 언제나 임베딩과 벡터 데이터베이스만 써야 한다는 뜻은 아닙니다. 키워드 검색, 벡터 검색, 두 결과를 합치는 하이브리드 검색, 관계형 데이터베이스나 검색 API도 외부 자료를 가져오는 역할을 맡을 수 있습니다. Azure의 검색 단계 안내는 키워드와 벡터 결과를 함께 다루는 방법을 설명합니다.

예를 들어 사내 휴가 규정 챗봇은 야간 작업으로 규정 파일을 파싱하고, 조항별 청크와 문서명·개정일·권한 정보를 색인합니다. 직원이 육아휴직 중 연차 발생을 질문하면 질의 단계에서 관련 조항을 검색하고 접근 가능한 최신 문서만 모델에 전달합니다. 검색 결과가 부족하면 답을 추측하기보다 근거 부족을 알리도록 설계할 수 있습니다. Amazon Bedrock 문서처럼 검색만 수행하는 작업과 검색 뒤 생성을 잇는 작업을 분리하면 어느 단계에서 오류가 생겼는지 확인하기 쉽습니다.

질문과 저장소의 형태에 따라 검색 경로도 달라집니다. 제품 번호처럼 정확한 문자열이 중요한 질문은 키워드 검색이 강할 수 있고, 표현이 달라도 뜻이 비슷한 자료를 찾을 때는 벡터 검색이 도움을 줄 수 있습니다. 주문 상태처럼 구조화된 값은 데이터베이스 질의가 더 직접적입니다. 여러 경로를 함께 쓸 때는 결과 점수의 의미가 다를 수 있으므로 병합 규칙과 재순위화 기준을 별도로 평가합니다.

최신 자료와 인용도 관리가 필요하다

RAG가 학습 이후의 자료를 사용할 수 있다는 말은 색인에 그 자료가 실제로 반영됐을 때만 성립합니다. 원본 수집이 늦거나 삭제된 문서가 색인에 남아 있으면 오래된 답이 나옵니다. 문서 수정 시간, 적용 기간, 버전 같은 메타데이터를 저장하고 동기화 실패를 감시해야 합니다. 사용 권한도 검색 전에 적용해야 합니다. AWS의 ACL 인식 검색 안내는 검색 필터가 인증을 대신하지 않으며, 애플리케이션이 확인한 사용자 문맥을 전달해야 한다고 설명합니다.

관련 문서를 찾았다고 답이 사실이 되는 것도 아닙니다. 검색기가 엉뚱한 청크를 고르거나, 올바른 자료가 문맥 길이 때문에 빠지거나, 생성 모델이 자료를 잘못 해석할 수 있습니다. 출처 링크가 있어도 주장과 인용 구간이 일치하지 않을 수 있습니다. AWS의 RAG 평가 문서가 정확성, 충실도, 인용 정밀도와 인용 범위를 따로 측정하는 이유도 이 구분에 있습니다. 검색 재현율과 생성 답의 정확성을 단계별로 평가해야 합니다.

파인튜닝과 선택 기준이 다르다

파인튜닝은 예시 데이터로 모델의 가중치를 조정해 행동, 형식, 과제 수행 방식을 바꾸는 학습 과정입니다. RAG는 요청 때 외부 자료를 찾아 입력 문맥으로 제공합니다. 자주 바뀌는 정책이나 출처를 답변에 붙여야 하는 지식 과제에는 RAG가 잘 맞을 수 있습니다. 일정한 출력 형식이나 조직의 분류 규칙을 익히게 하는 목적에는 파인튜닝을 검토할 수 있습니다. 두 방법은 함께 쓸 수도 있지만, RAG가 모델의 학습을 갱신하거나 파인튜닝이 최신 사실을 자동 공급하는 것은 아닙니다.

운영에서는 질문 유형별로 검색 성공률, 답의 근거 일치, 지연 시간과 비용을 함께 봅니다. 검색이 필요 없는 문장 다듬기까지 매번 색인을 조회하면 복잡성과 지연만 늘 수 있습니다. 반대로 규정·재고·계약처럼 외부 상태가 답을 좌우하면 검색 없이 모델 기억에 맡기기 어렵습니다. 자료의 갱신 주기, 접근 권한, 실패 시 응답 방식을 먼저 정하고 RAG를 적용해야 합니다.