증류

지식 증류(Knowledge Distillation)는 교사 모델이 낸 예측이나 응답을 학습 신호로 삼아 학생 모델을 훈련하는 기법입니다. 여러 모델의 예측을 한 모델에 옮겨 배포 부담을 낮추려는 문제에서 출발했으며, 기본 원리는 Hinton·Vinyals·Dean의 논문에서 확인할 수 있습니다. 교사와 학생의 크기는 설계 선택일 뿐 필수 조건이 아닙니다. 학생이 더 작으면 저장 공간, 지연 시간, 운영 비용을 줄이려는 목표가 흔하지만, 같은 크기나 다른 구조의 모델에도 증류를 적용할 수 있습니다.

무엇을 학습 신호로 쓰나

분류 모델에서는 정답인 ‘고양이’만 주는 하드 레이블 대신, 교사가 낸 여러 클래스의 확률 분포를 소프트 타깃으로 사용할 수 있습니다. 고양이가 가장 높더라도 호랑이를 개보다 가깝게 본 확률은 클래스 사이의 관계를 담고 있어 학생의 학습에 도움이 될 수 있습니다. 언어 모델에서도 교사의 다음 토큰 확률을 받을 수 있으면 그 분포를 맞추고, 그렇지 않으면 질문과 교사가 생성한 답변 쌍을 학습 예제로 삼습니다.

예를 들어 고객 문의 분류기라면, 검증한 문의와 교사의 답변을 모아 학생에게 답변 형식을 배우게 할 수 있습니다. 이때 생성 응답에도 오류가 섞일 수 있습니다. 원래 정답, 금지 답변, 필요한 형식 같은 기준을 별도로 두고 교사 응답을 필터링해야 합니다. 교사의 확률 분포를 모방하는 방식, 완성된 텍스트를 모방하는 방식, 중간 표현을 맞추는 방식은 모두 증류이지만 필요한 접근 권한과 검증 방법이 다릅니다. FitNets 연구는 출력뿐 아니라 중간 표현을 힌트로 쓰는 예를 보여 줍니다.

학습 자료를 만들 때는 교사가 어떤 버전과 설정으로 응답했는지, 입력이 어느 업무 범위를 대표하는지 남겨 두는 편이 좋습니다. 같은 질문을 반복해도 답변이 달라질 수 있고, 특정 형식의 질문만 모이면 학생도 그 형식에만 강해질 수 있기 때문입니다. 특히 교사 응답을 자동 수집했다면 중복, 빈 답, 근거 없는 단정, 민감한 정보가 포함됐는지 먼저 확인해야 합니다.

생성 응답과 추론 경로의 차이

응답 증류는 입력과 최종 답변을 짝으로 두고 학생이 답변을 재현하게 합니다. 답변이 맞아도 그 답에 이르는 중간 단계는 훈련 표적에 들어가지 않을 수 있습니다. 추론 경로를 쓰는 증류에서는 최종 답 외에 문제의 풀이도 학습 신호로 사용합니다. Distilling Step-by-Step 연구는 언어 모델이 만든 풀이를 작은 모델의 추가 학습 신호로 사용하는 방법을 제안했습니다. 이 연구에서는 정답 예측과 풀이 생성을 학습 과제로 함께 다룹니다.

그러나 길게 적힌 풀이가 언제나 정확한 근거이거나 모델 내부 계산의 충실한 기록이라는 뜻은 아닙니다. 숫자 계산, 인용, 정책 판단처럼 오류 비용이 큰 과제에서는 단계와 최종 답을 각각 검사하고, 허용된 데이터만 훈련에 포함해야 합니다. 학생이 풀이 형식을 더 잘 재현하게 되어도 실제 문제에서의 정확성이나 안전성이 자동으로 높아지지는 않습니다.

언제 효과를 확인하나

증류 결과는 교사와 학생을 같은 과제의 독립 평가 세트에서 비교해 판단합니다. 고객 지원이라면 정답률만 보지 말고 사실 오류, 필요한 정보 누락, 금지된 응답, 지연 시간과 운영 비용을 함께 봐야 합니다. 학습에 사용한 프롬프트와 거의 같은 평가 문항만 쓰면 학생이 일반화한 것처럼 보일 수 있으므로, 표현과 사례를 분리한 평가 세트가 필요합니다.

증류는 파인튜닝과도 구별할 필요가 있습니다. 파인튜닝은 특정 과제에 맞춰 모델을 추가 학습하는 넓은 방법이고, 증류는 그 과정에서 교사 신호를 사용하는 방법입니다. 양자화는 학습된 파라미터의 수치 정밀도를 바꾸는 방법이므로 증류와 함께 쓸 수도 있습니다. 교사의 오류와 편향, 학생의 용량, 학습 데이터의 범위가 결과에 영향을 주므로 성능 향상을 약속할 수는 없습니다. 배포 전에는 실제 사용 조건과 닮은 평가로 허용 기준을 정하는 편이 안전합니다.