사내 문서를 AI에 연결할 때: 긴 입력·RAG·추가 학습의 선택

사내 문서를 AI에 쓰려는 목적이 한 계약서의 내용을 검토하는 일인지, 여러 부서의 규정을 질문마다 찾아 답하는 일인지에 따라 시작할 구성이 달라집니다. Lewis 등의 RAG 원 논문은 모델 매개변수에 저장된 지식과 외부 문서 검색을 결합했습니다. 지식을 어디서 가져오고 어떻게 갱신할지를 모델의 답변 능력과 함께 다룬 접근입니다.

방식을 고르기 전에는 부족한 것을 적습니다. 답할 근거를 못 찾는지, 찾은 근거로 잘못 답하는지, 내용은 맞아도 분류·문체·출력 형식을 못 지키는지 구분합니다. 이 구분이 없으면 검색 문제를 학습으로 고치거나, 형식 문제에 더 많은 문서를 붙이는 선택으로 이어질 수 있습니다.

문서 조회와 행동·형식 학습은 필요한 자료가 다르다

직접 입력은 작업에 필요한 문서를 요청 문맥에 넣는 방식입니다. 검토할 범위가 정해져 있으면 검색 시스템을 만들기 전에 이 방식으로 답변이 가능한지 확인할 수 있습니다. 문서를 읽는 데 필요한 배경·예외까지 함께 제공하고, 파일 이름·버전·문단 위치를 구분해 놓습니다.

RAG는 질문에 맞는 외부 자료를 찾아 답변 문맥에 넣는 구성입니다. 많은 문서를 매번 모두 넣는 대신 관련 구간을 선택하며, 원문 위치와 버전을 함께 전달하면 답변의 근거를 추적할 수 있습니다. 검색된 자료가 오래됐거나 적용 범위를 빠뜨리면 답변도 그 잘못된 입력을 따를 수 있어 검색 단계의 검토가 필요합니다.

여기서 추가 학습은 예시를 사용해 기존 모델의 동작을 조정하는 미세 조정, 파인튜닝을 뜻합니다. AWS의 RAG·미세 조정 비교는 조직의 스타일에 맞춘 생성과 자주 바뀌는 문서의 갱신을 다른 조건으로 설명합니다. 분류 기준이나 답변 형식을 반복적으로 맞추는 일은 학습 예시와 평가 자료가 필요합니다. 새로운 사실을 학습시키는 것도 가능하지만, 문서 교체·삭제·권한 변경을 어떻게 반영할지는 따로 남습니다.

세 방식은 조합할 수 있습니다. 검색한 자료를 긴 입력으로 전달하거나, 미세 조정한 모델이 검색 결과를 읽도록 만들 수도 있습니다. 문서 업로드 버튼만 보고 서비스가 원문 전체를 입력하는지 일부를 검색하는지 판단하기는 어려워, 사용하는 제품의 처리 방식도 별도로 확인합니다.

문제와 데이터 조건으로 첫 시험을 고른다

다음 표는 구현을 고르기 위한 시작 기준입니다. 문서 수만으로 RAG나 학습의 필요성을 확정하지 않고, 작업 단위와 수정할 문제를 함께 봅니다.

직접 입력에서 답변이 충분하면 검색 인덱스와 갱신 작업을 추가할 이유가 줄어듭니다. 반복 요청에서 같은 문서를 매번 전달하는 비용과 대기시간이 부담되거나, 질문마다 찾을 자료가 달라질 때는 검색 구성의 이점과 유지 작업을 비교합니다. 비용은 입력 길이와 질의량, 검색·재처리·평가 작업을 포함해 실제 사용 조건에서 측정합니다.

긴 문서를 넣을 수 있는 용량과 필요한 정보를 사용하는 능력은 따로 평가합니다. 2024년 Lost in the Middle 연구는 다문서 질의응답과 키·값 검색에서 관련 정보의 위치를 바꾸며 성능 차이를 관찰했습니다. 실제 사용할 모델에서는 문서의 앞·중간·뒤에 있는 근거를 각각 찾는지 별도로 검사합니다.

RAG에서도 답을 만드는 데 필요한 범위를 판단합니다. 특정 조항 하나를 찾는 질문과 문서 전체의 예외·모순을 비교하는 질문은 필요한 근거가 다릅니다. 검색 결과가 질문과 비슷한 구간 몇 개에 그치면 문서 전체에 대한 결론을 내릴 자료가 부족할 수 있습니다. 이런 작업은 문서 전반을 다루는 검토 단계와 근거 선택을 함께 설계합니다.

바뀌는 문서와 사용자 권한을 답변 전에 관리한다