벡터 데이터베이스

벡터 데이터베이스(Vector Database)는 임베딩 벡터와 원문 식별자·메타데이터를 저장하고, 가까운 벡터를 검색하며 갱신·삭제까지 관리하는 데이터 시스템입니다. 빠른 유사도 검색용 인덱스를 포함할 수 있지만 임베딩 모델이나 인덱스 자체와는 역할이 다릅니다.

임베딩, 인덱스, 데이터베이스를 구분합니다

임베딩 모델은 문서와 질문을 숫자 벡터로 바꿉니다. 벡터 인덱스는 많은 벡터 중 가까운 후보를 빨리 찾도록 탐색 구조를 만듭니다. 벡터 데이터베이스는 벡터와 원문 ID, 문서 종류, 접근 범위 같은 메타데이터를 보관하고 검색·삽입·갱신·삭제 API를 제공합니다. 제품에 따라 복제, 백업, 일관성, 다중 벡터 같은 기능도 더해집니다.

관련 문서가 가까운 벡터로 표현되지 않았다면 임베딩이나 문서 분할을 점검해야 합니다. 가까운 벡터가 후보에서 빠지면 인덱스와 검색 매개변수를 봅니다. 삭제한 문서가 계속 나오면 갱신 경로, 캐시, 인덱스 반영 상태를 확인합니다.

관계형 데이터와 벡터를 함께 관리하고 조인한다면 기존 PostgreSQL에 확장을 붙이는 구성이 단순할 수 있습니다. pgvector 공식 저장소는 PostgreSQL 안에서 벡터 저장, 거리 연산, 정확·근사 최근접 검색, 필터, 갱신과 삭제를 지원합니다. 데이터 규모, 쓰기 빈도, 지연 목표, 팀의 운영 경험을 기준으로 전용 시스템과 확장 방식을 비교해야 합니다.

정확 검색과 ANN의 교환 조건을 봅니다

정확 최근접 검색은 조건에 맞는 모든 벡터의 거리를 계산해 가장 가까운 결과를 고릅니다. 후보 집합이 작거나 누락 허용도가 매우 낮으면 기준 결과로 쓰기 좋습니다. 데이터가 커질수록 전체 탐색 시간이 늘어납니다. 근사 최근접 이웃(ANN) 인덱스는 HNSW 같은 탐색 구조로 일부 경로만 살펴 지연 시간을 줄이는 대신, 최근접 항목 일부를 놓칠 수 있습니다.

ANN의 품질은 재현율(recall)과 지연 시간을 함께 측정해야 합니다. 검색 폭을 넓히면 재현율이 좋아질 수 있지만 계산량도 늘어납니다. Qdrant의 검색 문서는 HNSW 탐색 범위와 정확 검색 선택지를 제공하며, 정확 검색은 전체 스캔 때문에 오래 걸릴 수 있다고 설명합니다. 평가 질문의 정확 검색 결과를 기준으로 삼고, 허용 지연 안에서 ANN이 정답 후보를 얼마나 되찾는지 비교합니다.

메타데이터 필터는 날짜와 카테고리를 좁히는 기능에 그치지 않습니다. 사내 검색에서는 사용자 ID, 조직, 문서 등급 같은 접근 조건을 검색 전에 적용해야 합니다. 권한 없는 문서를 후보로 꺼낸 뒤 생성 단계에서 숨기려 하면 원문, 제목, 점수, 로그가 먼저 노출될 수 있습니다. Qdrant의 필터 문서는 payload 조건과 해당 필드의 인덱스를 검색에 결합하는 방법을 설명합니다. 필터가 ANN 탐색 전·중·후 어디에 적용되는지 확인하고, 우회할 수 없는 서버 경로에서 권한 조건을 강제해야 합니다.

갱신과 삭제도 검색 품질의 일부입니다

문서 내용이 바뀌면 해당 청크의 임베딩과 메타데이터를 함께 갱신해야 합니다. 안정적인 문서·청크 ID는 업서트(upsert)와 재처리 범위를 제어하는 데 필요합니다. 삭제할 때도 벡터, 메타데이터, 원문, 검색 캐시에서 같은 ID를 추적합니다. 비동기 인덱싱이나 복제를 쓴다면 검색 반영 완료 조건도 정해야 합니다.

임베딩 모델을 교체할 때는 새 벡터 공간용 컬렉션이나 필드를 따로 만들고 전체 문서를 다시 계산하는 편이 안전합니다. 같은 차원이라도 서로 다른 모델의 벡터를 한 인덱스에서 비교할 수 있다는 보장은 없습니다. 새 인덱스를 채우는 동안 문서 변경분을 양쪽에 반영하고, 누락 수와 검색 평가를 확인한 뒤 읽기 경로를 바꾸면 혼합 공간과 부분 갱신을 피할 수 있습니다.

RAG에서는 여러 검색 단계를 연결합니다

문서 처리 흐름은 원문 수집, 청크 분할, 임베딩 생성, 벡터·메타데이터 저장, 인덱스 갱신 순서입니다. 질문 쪽 흐름은 사용자 인증, 권한 범위 계산, 질문 임베딩, 필터가 적용된 후보 검색, 후보 재정렬, 원문 조회, 생성 모델에 근거 전달 순서로 볼 수 있습니다. 단계별 ID와 모델 버전을 남기면 오류가 표현, 검색, 권한, 재정렬, 생성 중 어디서 시작됐는지 추적할 수 있습니다.

벡터 검색은 표현이 비슷한 문서를 잘 찾지만 상품 코드, 오류 번호, 사람 이름의 정확 일치에는 약할 수 있습니다. 키워드 기반 전문 검색과 벡터 검색을 함께 실행해 후보를 합치는 하이브리드 검색이 이 틈을 보완합니다. Elastic의 하이브리드 검색 문서는 전문 검색과 벡터 검색을 한 요청에서 실행해 하나의 순위로 합치는 방식을 설명합니다. 결합 규칙은 두 검색 점수의 분포와 후보 수에 맞춰 평가해야 합니다.

재순위 모델은 처음 검색한 소수 후보를 질문과 함께 더 정밀하게 비교합니다. 계산 비용이 크므로 전체 데이터에 적용하기보다 ANN이나 하이브리드 검색이 만든 후보에 적용합니다. Elastic의 순위·재순위 문서는 첫 검색을 후보 생성 단계로 두고 더 비싼 의미 재순위를 뒤에 연결하는 구조를 구분합니다. 작은 필터 집합에는 정확 검색이, 큰 데이터에는 ANN과 재순위가 맞을 수 있습니다. 측정한 재현율, 지연 시간, 갱신 속도, 권한 필터 정확성으로 결정해야 합니다.