임베딩

임베딩(Embedding)은 텍스트, 이미지, 상품 같은 대상을 모델이 계산할 수 있는 숫자 벡터로 표현하는 방법입니다. 가까운 벡터가 과제에 맞는 유사성을 나타내도록 학습할 수 있지만, 그 의미는 사용한 모델·과제·입력 문맥에 따라 달라집니다.

벡터의 좌표는 모델과 과제가 정합니다

임베딩을 지도 좌표에 비유하면 이해하기 쉽습니다. "환불 규정"과 "반품 기한"이 가까운 곳에 놓이면 단어가 정확히 겹치지 않아도 유사한 문서를 찾을 수 있습니다. 다만 위도와 경도처럼 모든 시스템이 공유하는 절대 좌표는 아닙니다. 한 모델의 학습 과정에서 만들어진 공간이므로 다른 모델이 출력한 같은 길이의 벡터와 바로 비교할 수 없습니다.

문맥도 좌표를 바꿉니다. "배를 먹었다"의 배와 "배를 탔다"의 배는 표면 글자가 같지만 문장 안 역할이 다릅니다. 문맥형 임베딩 모델은 주변 단어를 반영해 둘을 다른 표현으로 만들 수 있습니다. Google의 임베딩 안내는 정적 단어 임베딩과 문맥형 임베딩의 차이, 특정 과제에 맞춰 표현을 학습할 수 있다는 점을 설명합니다.

차원은 벡터에 들어 있는 숫자의 개수입니다. 차원이 크면 모델이 더 많은 축을 사용할 여지는 생기지만 검색 품질을 자동으로 보장하지 않습니다. 학습 데이터, 손실 함수, 입력 길이 제한, 언어와 도메인 적합성이 나쁘면 큰 벡터도 원하는 이웃을 만들지 못합니다. 저장량과 거리 계산 비용은 차원과 함께 늘 수 있으므로 실제 질문과 정답 문서로 평가한 뒤 선택해야 합니다.

같은 공간과 거리 규칙을 맞춥니다

검색에서는 문서와 질문이 비교 가능한 공간에 있어야 합니다. 같은 모델 이름만 확인해서는 부족합니다. 모델 리비전, 전처리, 입력 앞에 붙이는 지시문, 문서와 질문의 인코딩 방식, 출력 차원, 정규화 여부가 맞아야 합니다. 차원이 다르면 거리 계산 자체가 실패하지만, 차원이 같아도 서로 다른 모델이나 프롬프트가 만든 좌표는 서로 비교할 수 없습니다.

질문과 문서의 형태가 다른 비대칭 검색 모델은 두 입력에 서로 다른 지시문을 요구하기도 합니다. 짧은 질문에는 "질문을 표현하라", 긴 문서에는 "검색할 문서를 표현하라"는 역할을 붙이는 식입니다. Sentence Transformers의 공식 사용 문서는 검색 과제에서 encode_query와 encode_document를 권장하며, 모델에 정의된 query·document 프롬프트가 있으면 각각 적용한다고 설명합니다. 해당 프롬프트가 없는 모델에서는 두 함수가 같은 결과를 낼 수도 있습니다.

코사인 유사도는 벡터 사이 각도를, 내적은 방향과 크기를 함께 반영합니다. 유클리드 거리는 좌표 사이 직선거리를 봅니다. 어느 척도가 더 낫다고 일반화하기보다 모델이 학습·권장한 척도를 써야 합니다. 비교할 벡터를 모두 단위 길이로 정규화하면 내적 순위와 코사인 유사도 순위가 같아집니다. Sentence Transformers의 유사도 문서는 코사인, 내적, 유클리드 등 지원 척도와 정규화된 벡터에서 내적을 쓸 수 있는 조건을 제시합니다.

검색 품질과 재임베딩 조건을 관리합니다

문서 검색 파이프라인에서는 문서를 적당한 단위로 나누고 문서용 인코딩을 거쳐 벡터와 원문 식별자를 저장합니다. 질문이 들어오면 질문용 인코딩으로 벡터를 만들고 가까운 후보를 찾습니다. 예를 들어 "배송 전에 주소를 바꾸고 싶다"는 질문이 "출고 전 배송지 변경 절차" 문단을 찾을 수 있습니다. 임베딩은 후보를 만드는 역할을 맡으며 최종 답의 사실성까지 보장하지는 않습니다.

분류, 군집화, 추천, 검색은 좋은 임베딩의 기준이 서로 다릅니다. 검색 모델을 고를 때는 공개 종합 점수만 보지 말고 서비스 언어, 짧은 질문과 긴 문서의 비대칭성, 전문 용어, 오답 비용을 반영한 평가 세트를 사용해야 합니다. Sentence Transformers의 MTEB 평가 문서는 검색·분류·군집화·의미 유사도 등 과제별 평가와 과제용 프롬프트 조건을 구분합니다.

모델 버전, 토크나이저, 지시문, 정규화, 출력 차원을 바꾸면 기존 문서를 다시 임베딩해야 할 수 있습니다. 새 모델이 이전 공간과 호환된다고 명시하지 않았다면 새 질문 벡터만 교체하는 방식은 피하는 편이 안전합니다. 운영 중에는 새 컬렉션에 문서를 순차 재임베딩하고, 같은 평가 질문으로 이전 검색과 결과를 비교한 뒤 읽기 경로를 전환할 수 있습니다. 원문 ID와 임베딩 모델 리비전을 함께 기록하면 누락된 문서 재처리와 롤백 범위를 찾기 쉽습니다.