검색된 청크에 “한 차례 연장할 수 있습니다”만 남아 있으면 어떤 장비를 얼마나 연장하는지 알 수 없습니다. 문서를 작은 단위로 나누는 청킹은 검색할 조각을 만들면서도 주체와 조건을 보존하는 작업입니다. Azure AI Search의 청킹 설명은 고정 길이, 문서 구조, 의미에 따른 분할을 구분하고 문서 형태와 질문에 맞춰 선택하도록 안내합니다.
짧은 청크는 한 주제에 집중하기 쉽고, 긴 청크는 주변 조건을 담기 쉽습니다. 문서 안에서 답과 조건이 얼마나 떨어져 있는지가 분할을 고르는 기준이 됩니다. 모든 자료에 같은 글자 수를 적용하면 표의 제목이나 절차의 시작 조건이 검색된 조각 밖으로 밀려날 수 있습니다.
같은 문서에서도 잘라야 할 경계가 다릅니다
다음은 분할을 설명하려고 만든 가상 문서 ‘촬영 장비 대여 지침’ 3판입니다. 실제 조직의 운영 규정이나 검색 시험 결과는 아닙니다. 문서의 ‘대여 기간’ 절은 “아래 기간은 사내 촬영에 적용합니다. 외부 촬영은 담당자가 승인한 일정과 장소를 따릅니다”라고 정하고, 그 아래 표에는 “카메라: 기본 3일, 종료 전 승인 시 1회 연장”과 “마이크: 기본 1일, 연장 불가”가 있습니다.
“카메라를 더 오래 빌릴 수 있는가”라는 질문에는 카메라 행의 연장 조건이 필요합니다. “외부 촬영도 카메라 기본 3일인가”에는 표 앞의 적용 범위가 필요합니다. 같은 표를 찾아도 질문에 따라 답을 지지하는 범위가 달라집니다.
문자 수로 자른 끝이 카메라 행 중간에 걸리면 장비명과 연장 조건이 분리됩니다. 표 전체를 하나로 담아도 적용 범위 문장을 떼면 외부 촬영 질문에 부족합니다. 이 문서에서는 절 제목과 적용 범위, 장비별 행을 함께 검색하거나 필요할 때 부모 절을 불러오는 구조를 비교할 수 있습니다.
청크에 맥락이 부족한 문제는 앤트로픽(Anthropic)의 Contextual Retrieval 연구 설명에서도 다룹니다. 독립된 청크에 주체나 기간이 사라지는 사례를 들고, 청크가 문서에서 어떤 부분인지 설명하는 문맥을 붙인 뒤 색인하는 방법을 제시합니다. 문맥 보강을 생성 모델에 맡긴다면 원문에 없는 조건이 보강문에 들어가는지도 별도로 대조합니다.
제목·표·절차의 역할에 맞춘 분할
제목은 그 아래 문장의 대상을 정하는 경우가 많습니다. ‘외부 촬영’ 절 안의 “담당자와 합의합니다”를 제목 없이 색인하면 무엇을 합의하는지 흐려집니다. 제목 경로를 청크와 함께 저장하고, 검색용 텍스트에 넣을지 답변 때 주변 문맥으로 붙일지 구분합니다.
다음 표는 문서 구조별로 보존할 단위를 정리한 설계 기준입니다. 특정 라이브러리의 기본값이나 실측 순위는 아닙니다.
| 문서 구조 | 함께 남길 내용 | 경계에서 확인할 실패 | 나누는 방식의 후보 |
|---|---|---|---|
| 설명 문단 | 대상이 드러나는 제목과 한 논점 | ‘이 장비’의 선행 대상이 다른 청크에 있음 | 제목 경로를 붙인 문단 묶음 |
| 표 | 표 제목·열 이름·행의 대상·단위·각주 | 3일이 어느 장비·촬영 범위의 값인지 사라짐 | 작은 표는 통째로, 큰 표는 열 이름과 조건을 붙인 행 묶음 |
| 작업 절차 | 시작 조건·순서·중단 조건 | 앞 단계 없이 마지막 버튼만 안내됨 | 짧은 절차 전체 또는 선행 조건을 포함한 단계 묶음 |
| 예외 규정 | 예외 대상과 연결되는 일반 규칙 | 일반 규칙과 예외가 따로 검색되어 충돌함 | 같은 청크에 포함하거나 규칙·예외 관계로 확장 조회 |
PDF 페이지는 원문 위치를 찾는 데 유용하지만 의미의 경계와 항상 맞지는 않습니다. 한 표가 두 페이지에 이어지면 페이지별 조각마다 열 이름과 적용 범위를 복원할 방법이 필요합니다. 텍스트 추출이 행·열 순서를 잘못 읽었다면 청크 길이를 조정해도 값과 대상의 관계는 돌아오지 않습니다.
겹침은 잘린 문맥 일부를 이웃 청크에 남기는 방법입니다. Azure AI Search 문서도 겹침의 적정 범위가 자료 유형과 용도에 따라 달라진다고 설명합니다. 겹침을 늘리는 시험에서는 같은 문장이 중복 검색되어 서로 다른 근거를 밀어내는지도 확인합니다. 표의 위쪽에만 있는 공통 조건은 끝부분을 조금 복사하는 겹침만으로 모든 행에 전달되지 않을 수 있습니다.
청크에서 원본으로 돌아가는 메타데이터
검색용 텍스트와 출처 정보는 함께 움직입니다. 청크마다 원본을 찾을 수 있어야 인용 위치를 표시하고, 새 버전을 만들 때 이전 조각을 찾고, 열람 범위를 검사할 수 있습니다. 메타데이터를 모았다는 사실과 검색 시 실제로 사용한다는 사실도 나누어 확인합니다.
Azure AI Search의 부모·자식 색인 설명은 각 청크의 고유 키와 부모 문서를 연결하는 키를 따로 두고, 제목 같은 부모 필드를 자식 청크마다 반복하는 방식을 설명합니다. 아래 이름은 그 원리를 가상 대여 지침에 적용해 정한 예시 필드이며, 특정 서비스에 그대로 보내는 API 스키마는 아닙니다.
| 예시 필드 | 가상 문서의 값 또는 의미 | 보존하는 관계 |
|---|---|---|
| document_id | equipment-loan | 경로가 바뀌어도 같은 원본임을 식별 |
| source_revision | rev-3 | 근거를 읽은 문서 판본 |
| chunk_id | equipment-loan-rev-3-period-camera | 이번 판본에서 검색한 조각 |
| title_path | 촬영 장비 대여 지침 / 대여 기간 | 조각의 대상과 소속 절 |
| source_locator | 2쪽 표 1의 카메라 행과 적용 범위 | 원본의 사람이 읽을 수 있는 위치 |
| access_policy_ref | 사내 구성원용 정책의 식별자 | 열람 범위 판단에 사용할 정책 연결 |
| extraction_version | 표 추출·분할 규칙의 버전 | 같은 원본이 다른 조각으로 변한 원인 |
페이지를 지원하지 않는 웹 문서는 절 ID나 원문 오프셋을 쓸 수 있습니다. 출처 URL이 따로 있다면 원본의 정식 주소도 보존합니다. OCR을 거친 문서는 원본 이미지의 위치와 추출 텍스트 위치가 달라질 수 있어 둘을 구분합니다.
각 청크가 만들어질 때 원본의 권한 정보를 이어받고, 실제 조회에서도 접근 범위를 적용하는 설계를 전제로 합니다. 청크를 찾은 뒤 부모 문서를 더 불러오는 기능이 있다면 부모 조회에서도 같은 범위를 검사합니다. 메타데이터에 ‘사내용’이라고 적는 것만으로 접근이 제한되지는 않습니다.
동일 문서로 분할 방식의 근거 보존 비교하기
분할 방식은 검색 점수 하나로 고르기 어렵습니다. 같은 원본 판본과 같은 질문 묶음을 유지하고, 검색 모델·후보 수·필터·재정렬 조건을 고정한 채 분할만 바꿉니다. 분할이 달라지면 색인해야 할 텍스트도 달라지므로 각 방식의 색인을 따로 만들어 비교합니다.
아래는 가상 대여 지침에서 확인할 근거 범위입니다. 실제 검색기를 실행한 결과가 아니라 분할안을 읽어 예상되는 누락과 후속 시험 항목을 표시한 표입니다.
| 분할안 | 카메라 연장 질문에 남는 근거 | 외부 촬영 질문에 남는 근거 | 확인할 후속 시험 |
|---|---|---|---|
| 고정 길이, 카메라 행 중간에서 분리 | 장비명과 승인 조건이 다른 조각에 있음 | 적용 범위가 다른 조각에 있을 수 있음 | 이웃 조각이 함께 회수되는지 |
| 표만 통째로 분리 | 카메라 행의 3일·승인·1회 연장 | 표 앞의 외부 촬영 예외는 없음 | 적용 범위 없이 같은 기간을 답하는지 |
| 절 제목·적용 범위·표를 함께 묶기 | 행과 승인 조건을 함께 읽을 수 있음 | 외부 촬영에 별도 일정이 적용됨을 읽을 수 있음 | 조각이 길어져 다른 질문의 관련성이 떨어지는지 |
| 행별 검색 후 부모 절 확장 | 카메라 행으로 검색할 수 있음 | 부모 절을 읽을 때 예외를 확인할 수 있음 | 확장 조회가 실행되고 입력 한도 안에 남는지 |
평가 질문에는 장비명으로 묻는 질문과 뜻을 바꿔 묻는 질문을 함께 둡니다. “카메라 대여 기간”과 “촬영이 길어져 하루 더 쓰는 절차”는 같은 문서를 필요로 해도 검색어가 다릅니다. 다른 장비의 규정을 답하면 안 되는 질문, 표 각주가 필요한 질문, 원문에 답이 없는 질문도 포함합니다.
판정에는 필요한 근거의 회수 여부, 조건 보존, 인용 위치의 정확성, 중복 조각 수, 모델에 보낸 총입력 길이를 남깁니다. 같은 개수의 청크를 보냈어도 방식별 총길이가 다르면 입력 비용과 답변 결과를 함께 해석합니다. 청크 길이에 관한 공급자 예시값은 비교를 시작할 후보로 쓰고, 평가 결과와 관계없이 지켜야 할 정답으로 두지 않습니다.
검색 단위와 답변에 보여 줄 범위 나누기
검색은 장비 행처럼 작은 단위로 하고, 답변은 원본 절까지 넓혀 만드는 설계도 가능합니다. 이때 청크의 부모·이웃 관계를 보존해야 필요한 범위를 정확히 확장합니다. 관계 없이 주변 텍스트를 덧붙이면 다른 장비의 예외나 이전 판본이 섞일 수 있습니다.
원문 본문, 검색을 위해 보강한 설명, 답변 때 확장한 원본 문맥을 구분해 기록합니다. 인용은 실제 주장을 지지하는 원본 위치를 가리킵니다. 청크 경계와 별개로 입력 전체의 선택·배치도 조정해야 한다면 컨텍스트 구성과 우선순위 설계가 이어지는 배경이 됩니다.
처음에는 대표 문서 몇 개에서 분할 경계와 출처 복원부터 확인하는 편이 좋습니다. 근거가 온전하게 남는 안을 고른 뒤 문서 유형을 넓히면, 검색 품질이 나빠졌을 때 길이·추출·메타데이터 중 무엇이 바뀌었는지 비교할 기준이 생깁니다.
자료 확인 기준: 2026년 10월 28일 UTC. 서비스별 분할·색인 기능은 개정될 수 있습니다.
PDF를 AI에 맡겼는데 답이 틀리는 이유: 스캔·표·문맥 손실
PDF 화면에는 있는 숫자와 예외가 AI 답변에서 사라지기도 합니다. 스캔, 다단 편집, 표, 페이지 경계에서 생기는 손실을 작은 시험 문서와 대조해 원인을 좁힙니다.
키워드·벡터·하이브리드 검색, 어떤 질문에 무엇이 맞을까
문서 번호 한 글자의 차이가 중요한 검색과, 다른 표현으로 같은 뜻을 찾는 검색은 실패하는 지점이 다릅니다. 질의 유형별로 검색 후보를 모으고 정렬하는 방법을 비교합니다.
AI 지식베이스를 최신으로 유지하는 법: 변경·삭제·권한 관리
원본을 고쳐도 검색에는 옛 청크가 남고, 문서를 지워도 저장된 답변이 다시 나올 수 있습니다. 원본 변경부터 검색 확인까지 버전·삭제·접근 범위를 연결해 관리하는 운영 기준입니다.