AI 지식베이스 관리: 문서 변경·삭제·권한 갱신 확인

원본을 고쳐도 검색에는 옛 청크가 남고, 문서를 지워도 저장된 답변이 다시 나올 수 있습니다. 원본 변경부터 검색 확인까지 버전·삭제·접근 범위를 연결해 관리하는 운영 기준입니다.

문서 저장소에서 규정을 고쳤어도 AI 답변은 이전 문장을 인용할 수 있습니다. 원본 수정, 수집, 색인 쓰기, 실제 검색 노출이 서로 다른 단계이기 때문입니다. Elasticsearch의 검색 가시성 설명은 색인의 변경을 검색에 보이게 하는 refresh 단계를 구분합니다. 원본 저장 성공만으로 검색과 답변의 갱신까지 끝났다고 판단하기 어려운 구체적인 사례입니다.

지식베이스 운영에서는 ‘마지막 실행 성공’과 ‘어떤 문서의 어떤 판본이 보이는가’를 함께 기록합니다. 변경·삭제·권한 회수는 확인할 결과가 달라서 같은 재수집 작업으로만 처리하면 누락을 찾기 어렵습니다.

수집 시각과 원본 버전을 따로 남기기

문서별 기록에는 안정적인 원본 ID, 원본이 제공하는 판본이나 변경 순서, 내용 해시, 수집 시각을 남깁니다. 원본 수정 시각은 작성자가 바꾼 시점이고 수집 시각은 자동화가 읽은 시점입니다. 수집을 마쳤더라도 원본의 구판 복사본을 읽었다면 자료가 갱신된 것으로 볼 수 없습니다.

색인에는 어떤 원본 버전에서 어떤 청크가 만들어졌는지도 연결합니다. 텍스트 추출 규칙, 분할 규칙, 임베딩 설정을 바꾸면 원본이 같아도 파생 결과가 달라집니다. 원본의 파일 해시와 추출된 텍스트의 해시를 따로 남기면 파일 형식만 바뀐 경우와 내용 추출이 달라진 경우를 구별할 수 있습니다.

쓰기 요청이 접수된 시각과 검색에서 새 버전을 관찰한 시각도 나눕니다. 서비스가 별도의 가시성 단계를 두는 경우에는 그 동작에 맞춰 후속 조회를 수행합니다. 저장 응답, 색인 작업 상태, 대표 질문의 검색 결과와 인용을 각각 남기면 어느 구간에서 지연됐는지 알 수 있습니다.

문서 내용이 오래됐는지도 별도 판단입니다. 수집을 마친 지 하루 된 3년 전 정책 문서는 수집이 빠르더라도 적용 규정이 아닐 수 있습니다. 자료 소유자, 유효 기간, 대체 문서 관계를 함께 관리하면 ‘마지막으로 읽은 시각’과 ‘답에 써도 되는 근거’를 구별할 수 있습니다.

변경 문서는 새 청크와 이전 청크를 한 묶음으로 관리하기

가상 운영 문서 equipment-loan의 3판에서 카메라 대여 규칙이 바뀌었다면, 원본 ID에 3판의 청크 목록을 연결합니다. 다음 4판을 처리할 때도 새 청크 목록을 만들고 이전 목록과 대조합니다. 아래 방식은 판본이 섞이는 일을 줄이기 위한 운영 설계입니다.

새 판본은 추출·분할·임베딩·색인 쓰기가 끝난 뒤 검색 가능 여부를 확인합니다. 그 뒤 검색 대상인 활성 판본을 바꾸는 방식을 검토할 수 있습니다. 이 과정에서는 조회가 구판과 신판을 함께 섞지 않도록 판본 필터나 색인 전환 수단이 필요합니다. 시스템이 어떤 원자적 전환을 지원하는지도 먼저 확인합니다.

청크 수가 줄어드는 변경을 특히 살핍니다. 3판의 청크가 열 개였고 4판이 여섯 개일 때, 같은 번호의 여섯 개를 덮어쓰는 방식이라면 나머지 네 개는 별도 정리가 필요합니다. 원본별 파생 청크 목록이 있으면 이전 판본에만 남은 조각을 찾을 수 있습니다. 단순히 같은 번호의 청크를 덮는 방식은 분할 경계가 바뀔 때 내용과 위치를 잘못 대응시킬 수 있습니다.

변경 이벤트가 늦게 도착하는 경우도 다룹니다. 4판을 처리한 뒤 도착한 3판 이벤트가 활성 판본을 되돌리지 않도록, 원본이 제공하는 변경 순서를 확인하거나 활성화 직전에 원본의 실제 버전을 다시 대조합니다. 판본 값이 단순 문자열이라면 사전순 정렬이 수정 순서를 뜻하는지 추정하지 않습니다.

원본 ID와 판본·처리 설정으로 같은 작업을 식별하면 재실행 때 이미 끝난 단계를 구분하기 쉽습니다. 쓰기 성공 여부가 불확실한 경우에는 원격 상태를 먼저 확인합니다. 이 판단은 저장 뒤 멈춘 자동화의 재개 기준과 연결되지만, 지식베이스 갱신에는 원본별 청크 정합성까지 추가로 확인합니다.

원본 삭제와 색인 삭제를 별도로 확인하기

원본이 사라졌다는 사실을 갱신기가 어떻게 아는지부터 정합니다. 변경 이벤트, 삭제 표식, 원본 목록과 색인 목록의 대조 중 어떤 경로를 쓰는지 기록합니다. 접속 실패와 삭제는 구분합니다. 인증 오류나 일시적인 수집 실패로 문서를 못 읽은 경우에 곧바로 삭제로 판정하면 정상 근거까지 사라질 수 있습니다.

Azure Storage 인덱서의 변경·삭제 감지 설명은 변경 감지와 삭제 감지가 다르며, 삭제 감지를 위해 별도 정책이 필요하다고 명시합니다. 원본에 삭제 표식을 남기는 방식을 쓸 때는 갱신기가 그 표식을 처리할 때까지 표식이 유지돼야 합니다. 이 문서는 초기 인덱싱부터 삭제 정책을 설정하는 조건도 설명합니다.

하나의 원본이 여러 검색 문서로 나뉘면 삭제 단위도 맞춰 확인합니다. Azure의 다중 문서 파싱 설명은 파일의 한 행에서 만든 검색 문서가 원본 행을 지우는 것만으로 자동 삭제되지 않는 제한을 밝힙니다. 사용하는 파이프라인이 자식 청크를 자동 정리하는지, 원본별 목록으로 직접 제거하는지 확인할 근거가 됩니다.

삭제 처리 중에도 검색이 계속된다면 논리적 제외를 먼저 적용하는 방식을 검토합니다. 삭제된 원본 ID와 삭제 순서를 담은 기록을 조회 경로에서 확인하고, 파생 청크 제거가 끝난 뒤 그 결과를 대조합니다. 늦게 온 변경 이벤트가 삭제된 문서를 다시 등록하지 않도록 이벤트의 순서도 함께 검사합니다.

캐시된 검색 결과와 생성 답변은 색인 밖에 남을 수 있습니다. 답변 캐시에 사용한 원본 ID·판본을 연결해 두면 삭제·대체된 원본에 의존한 항목을 찾아 무효화할 수 있습니다. 이미 사용자에게 전달된 답변이나 보존된 대화는 별도 데이터이므로, 색인 삭제 한 번으로 모든 사본이 제거된 것으로 기록하지 않습니다.

권한 회수는 본문 수정과 독립적으로 전파하기

문서 내용이 같아도 공유 범위는 바뀔 수 있습니다. 본문 해시만 비교해 변경 여부를 정하면 권한 회수는 새 작업으로 잡히지 않습니다. 원본의 접근 정책 버전이나 권한 상태를 별도로 추적하고, 청크와 검색 필터에 어떻게 반영할지 정합니다.

Azure AI Search의 보안 필터 패턴은 사용자·그룹 식별자로 검색 결과를 제한하는 방식이며, 필터에 넣는 문자열 자체가 사용자 인증은 아니라고 설명합니다. 이 패턴에서는 신뢰할 수 있는 인증 결과에서 접근 범위를 만들고 모든 검색 요청에 해당 필터를 적용하는 계약이 필요합니다.

권한 검사는 벡터 검색에만 붙이지 않습니다. 키워드 경로, 부모 문서 확장 조회, 인용 원문 조회, 저장된 답변 재사용까지 같은 사용자의 범위를 적용합니다. 권한 변경이 반영되기 전까지 민감한 원본의 조회를 중지하는 등, 허용할 지연과 그동안의 제외 방식을 운영 기준으로 정할 수 있습니다.

시험에는 허용 사용자와 비허용 사용자를 나란히 둡니다. 허용 사용자가 문서를 찾는 긍정 시험과, 권한이 회수된 사용자가 청크·인용·캐시 답변을 받지 않는 부정 시험을 분리합니다. 관리자 계정에서 새 문서가 보이는 것만 확인하면 이 차이는 드러나지 않습니다.

갱신 완료를 판정하는 운영 기록표

다음은 실제 작업에 채워 넣을 항목을 정리한 운영 설계표입니다. 앞의 가상 장비 문서에 적용한 예시이며, 서비스에서 실행해 통과한 점검 기록은 아닙니다.

사건	연결할 기록	조회에서 확인할 결과	끝나지 않은 상태
본문 수정	원본 ID·새 판본·이전/새 청크 목록	새 조건과 판본이 대표 질문의 근거로 반환됨	저장은 성공했지만 구판이 검색됨
절 삭제·청크 수 감소	새 판본에 없는 이전 청크 ID	삭제된 절의 청크가 후보에 남지 않음	새 청크만 추가되고 옛 청크가 남음
원본 전체 삭제	삭제 표식·삭제 순서·자식 목록	모든 검색 경로와 확장 조회에서 제외됨	원본만 사라지고 파생 조각이 남음
권한 회수	정책 버전·사용자 또는 그룹 범위	비허용 사용자에게 근거·인용·캐시 답변이 반환되지 않음	관리자 조회만 확인함
중복 문서 합치기	유지할 원본 ID·별칭·대체 관계	같은 내용이 상위를 중복 점유하지 않음	사본 중 하나의 구판이 계속 반환됨
처리 중단·재시도	작업 ID·마지막 확인 단계·입력 판본	같은 판본을 중복 활성화하지 않고 남은 단계 완료	쓰기 응답이 불명확한 채 전체 재실행

같은 내용이 여러 경로에 복사된 경우에는 해시만 보고 합칠지 결정하기 어렵습니다. 본문이 같아도 소유자·유효 기간·공유 범위가 다르면 운영 의미가 다릅니다. 중복을 정리할 때는 유지할 정본과 대체 관계를 정하고, 어느 원본이 질문의 근거였는지 추적할 수 있게 남깁니다.

실제 완료 기록에는 원본 변경 시각, 수집 시각, 색인 작업 결과, 검색에서 새 상태를 관찰한 시각을 넣습니다. 대표 질문의 반환 청크와 판본, 사용자 범위, 인용 위치도 함께 저장합니다. 검색 결과가 비어 있어도 자료 삭제인지 접근 차단인지 수집 장애인지 구별할 수 있어야 다음 조치를 정할 수 있습니다.

갱신 주기는 변경 빈도와 허용 지연에 맞춰 정하고, 권한 회수처럼 빨리 제외해야 하는 사건은 별도로 다루는 편이 좋습니다. 이 기준을 문서별 기록과 실제 조회 결과에 연결하면, 마지막 작업이 성공했다는 표시를 넘어 어떤 근거가 아직 오래됐는지 확인할 수 있습니다.

자료 확인 기준: 2026년 10월 28일 UTC. 삭제 감지·검색 가시성·접근 필터의 서비스별 조건은 개정될 수 있습니다.

블로그AI 에이전트