파인튜닝

파인튜닝(Fine-tuning)은 이미 학습된 모델을 목표 업무나 데이터에 맞게 추가로 학습시키는 방법입니다. 모델의 전체 가중치를 갱신하거나 일부 가중치·어댑터만 조정할 수 있습니다. 지도 파인튜닝에서는 목표 업무의 좋은 입력과 출력 예시를 짝으로 학습시킵니다. 범용 모델의 언어 능력을 처음부터 만드는 일이 아니라, 준비된 모델의 행동과 출력 형식을 특정 목적에 맞추는 일에 가깝습니다. 예를 들어 고객 문의를 환불, 배송, 기타로 분류하는 서비스라면, 실제 문의와 정답 분류를 짝으로 모아 모델이 같은 기준을 반복해서 따르도록 가르칠 수 있습니다.

언제 쓰는가

파인튜닝은 같은 종류의 작업을 많이 처리하고, 프롬프트만으로는 형식이나 판단 기준이 자주 흔들릴 때 검토할 만합니다. 정해진 JSON 형식으로 정보를 뽑기, 문서 유형을 분류하기, 일정한 말투로 짧게 답하기처럼 입력과 좋은 결과를 명확하게 짝지을 수 있는 업무가 예입니다. OpenAI의 정확도 최적화 안내는 먼저 프롬프트와 평가 세트로 기준선을 만들고, 실제 운영 입력을 대표하는 고품질 예시부터 작게 시작하라고 권합니다.

학습 예시는 사용자가 실제로 넣을 문장과 비슷해야 합니다. 상품명이 긴 문의만 넣고 짧은 문의를 빼면, 실제 서비스에서 그 차이가 오류로 이어질 수 있습니다. 예시 수만 늘려도 해결되지는 않습니다. 중복, 잘못 붙인 정답, 한 가지 표현에 치우친 데이터는 모델이 잘못된 규칙을 더 단단히 배우게 할 수 있습니다. 제공사마다 파일 형식과 지원 범위는 다르지만, 감독식 파인튜닝 안내는 학습 데이터, 작업 생성, 결과 평가를 분리된 단계로 설명합니다.

RAG와 무엇이 다른가

파인튜닝은 모델의 가중치를 바꿉니다. 반면 RAG는 질문마다 관련 문서를 찾아 프롬프트에 넣고 답하게 하므로, 바뀌는 정책 문서나 사내 최신 규정처럼 출처와 최신성이 중요한 정보에 더 잘 맞습니다. 파인튜닝을 했다고 새 공지 내용을 자동으로 알게 되는 것은 아닙니다. 학습 데이터의 패턴은 반영할 수 있어도, 외부 문서를 검색해 근거를 확인하는 기능까지 생기지는 않습니다.

둘은 함께 쓸 수도 있습니다. 고객 지원 챗봇이 답변 형식과 분류 기준은 파인튜닝으로 익히고, 오늘의 배송 정책은 RAG로 가져오는 식입니다. 다만 RAG 결과를 받는 서비스를 학습한다면 그 문맥을 포함한 예시로 학습해야 합니다. 그렇지 않으면 모델은 실제 입력에 포함된 자료를 어떻게 사용할지 충분히 배우지 못할 수 있습니다.

프롬프트 엔지니어링도 구별해야 합니다. 프롬프트는 실행할 때 지시를 바꾸므로 문구를 바로 고치고 실험하기 쉽습니다. 파인튜닝은 많은 예시에서 규칙을 학습시키므로 준비와 재학습이 필요합니다. 한두 문장의 지시로 해결되는 문제라면 먼저 프롬프트를 고치고, 매번 길게 넣는 지시나 예시가 반복 업무에서 부담이 되는지 평가한 뒤 파인튜닝으로 넘어가는 편이 합리적입니다. 이 순서는 비용만의 문제가 아니라, 오류 원인이 지시인지 데이터인지 분리하는 방법이기도 합니다.

데이터와 평가가 좌우합니다

시작 전에는 실제 업무를 대표하는 평가 세트를 따로 마련하고, 기존 모델과 프롬프트로 얻은 결과를 기록합니다. 학습에 쓰지 않은 실제형 문의, 경계 사례, 금지해야 할 응답을 넣어 전후 결과를 비교해야 합니다. 학습 손실이 낮아졌다는 수치만으로 서비스 품질이 좋아졌다고 판단할 수는 없습니다. 학습 데이터와 비슷한 문장에만 잘 답하는 과적합도 확인해야 합니다.

좋은 첫 실험은 범위를 작게 잡는 것입니다. 예를 들어 상담원이 고쳐 쓴 답변 중 품질 기준을 만족한 사례를 모으고, 개인정보나 일회성 사실은 제거한 뒤, 같은 평가 세트에서 기본 모델과 비교합니다. 성능 차이가 없다면 데이터보다 프롬프트, 검색 품질, 업무 규칙이 원인일 수 있습니다. 파인튜닝은 범용 모델을 만능 전문가로 바꾸는 지름길이 아니라, 검증 가능한 반복 업무의 행동을 조정하는 방법입니다.

학습을 결정했다면 실패 사례도 기록해야 합니다. 분류가 애매한 문의, 여러 규칙이 충돌하는 질문, 사람에게 넘겨야 하는 상황을 평가 세트에 넣어야 모델이 쉬운 예시만 잘 처리하는지 알 수 있습니다. 결과를 운영에 반영한 뒤에도 새 문의 유형을 표본으로 확인하고, 데이터와 평가 기준을 함께 갱신합니다. 학습된 가중치는 배포 후 저절로 최신 기준을 따르지 않기 때문입니다.