손실 함수

고급

손실 함수는 AI 문맥에서 자주 등장하는 개념입니다. 이 페이지는 고급 난이도로 손실 함수의 뜻과 쓰임을 빠르게 이해할 수 있도록 정리한 AI 용어사전 항목입니다.

손실 함수를 처음 보는 독자도 헷갈리지 않도록 정의와 맥락를 한 페이지에 묶었습니다. 아래 설명을 먼저 읽고, 이어서 연결된 개념과 글까지 보면 이해가 훨씬 빨라집니다.

손실 함수(Loss Function, 비용 함수·Cost Function)는 모델의 예측값과 실제 정답 사이의 차이를 하나의 수치로 나타내는 함수입니다. 학습의 방향을 결정하는 나침반 역할을 하며, 이 값이 최소화되도록 가중치를 반복 조정합니다.

과제 유형에 따라 사용하는 손실 함수가 다릅니다. 회귀(연속값 예측)에는 평균 제곱 오차(MSE, Mean Squared Error)나 평균 절대 오차(MAE)를 씁니다. 이진 분류에는 이진 크로스 엔트로피(Binary Cross-Entropy), 다중 분류에는 범주형 크로스 엔트로피(Categorical Cross-Entropy)를 씁니다. LLM 학습에는 다음 토큰 예측의 크로스 엔트로피 손실이 핵심입니다.

손실 함수 선택은 모델 성능에 직접 영향을 줍니다. 잘못된 손실 함수를 쓰면 수렴이 느리거나 원하는 방향으로 학습되지 않습니다. RLHF(인간 피드백 강화학습)에서는 인간 선호도를 보상 신호로 변환한 손실을 사용합니다. Claude Opus 4.6나 GPT-5.4 같은 모델이 인간의 의도에 잘 맞는 답변을 하는 배경에는 이 보상 기반 손실 설계가 있습니다.

ℹ️쉽게 말하면

골프에서 타수가 적을수록 좋듯, 손실 함수의 값이 낮을수록 좋습니다. 모델은 매 라운드(에포크)마다 '어떻게 스윙을 바꾸면 타수가 줄까?'를 계산해 조금씩 폼을 교정합니다.

손실 함수가 학습에서 실제로 어떻게 작동하는지 단계별로 살펴보면 이렇습니다. 모델이 입력 데이터를 받아 예측값을 출력하면, 손실 함수가 예측값과 정답을 비교해 손실 값을 계산합니다. 그다음 역전파(Backpropagation) 알고리즘으로 각 가중치가 손실에 얼마나 기여했는지 계산합니다. 마지막으로 옵티마이저(Optimizer)가 경사 하강법으로 가중치를 손실이 줄어드는 방향으로 조금씩 업데이트합니다. 이 과정을 수백만 번 반복하면 모델이 점점 정확해집니다.

주요 손실 함수를 구체적으로 비교해보면 이해가 쉽습니다. MSE(평균 제곱 오차)는 예측값과 정답의 차이를 제곱해 평균을 냅니다. 큰 오차에 더 큰 페널티를 주기 때문에 이상치(outlier)에 민감합니다. MAE(평균 절대 오차)는 차이의 절댓값을 평균 내므로 이상치에 더 강건합니다. 크로스 엔트로피(Cross-Entropy)는 분류 문제에서 모델이 예측한 확률 분포와 실제 분포 사이의 차이를 측정합니다. LLM에서 다음 토큰 예측 정확도를 높이는 데 이 함수가 핵심적으로 쓰입니다.

손실 함수와 함께 자주 등장하는 개념이 퍼플렉서티(Perplexity)입니다. 퍼플렉서티는 LLM의 언어 모델링 성능을 나타내는 지표로, 크로스 엔트로피 손실의 지수 변환입니다. 낮을수록 모델이 텍스트를 잘 예측한다는 의미입니다. GPT-2에서 GPT-4로 발전하면서 퍼플렉서티가 크게 낮아진 것이 성능 향상의 수치적 근거 중 하나입니다.

강화학습 기반 AI 정렬 과정에서 손실 함수의 역할은 더 복잡해집니다. RLHF에서는 보상 모델(Reward Model)이 사람이 선호하는 답변에 높은 점수를 주도록 학습됩니다. 그런 다음 PPO(Proximal Policy Optimization) 같은 강화학습 알고리즘으로 LLM이 보상을 최대화하는 방향으로 업데이트됩니다. 이 과정에서 손실 함수는 보상 신호와 KL 발산 페널티(원본 모델에서 너무 멀어지지 않도록 제한) 등 여러 항을 결합한 복합적인 형태를 취합니다.

실무에서 손실 함수를 다룰 때 주의할 점이 있습니다. 손실 값이 계속 내려가는데도 실제 성능이 개선되지 않는 경우가 있습니다. 과적합(Overfitting)이 일어나면 학습 데이터의 손실은 낮지만 새로운 데이터에 대한 성능이 나쁩니다. 그래서 학습 손실(Train Loss)과 검증 손실(Validation Loss)을 함께 모니터링해야 합니다. 두 값의 차이가 커지면 과적합의 신호입니다. 적절한 정규화(Regularization) 기법이나 조기 종료(Early Stopping)로 이 문제를 완화할 수 있습니다.

손실 함수와 평가 지표(Metric)는 다른 개념임을 명확히 해둘 필요가 있습니다. 손실 함수는 학습 중 가중치 업데이트에 사용하는 미분 가능한 수식이고, 평가 지표는 모델의 성능을 사람이 이해하기 쉬운 방식으로 측정하는 기준입니다. 예를 들어 이진 분류에서 손실 함수로는 이진 크로스 엔트로피를 쓰지만, 평가 지표로는 정확도(Accuracy), F1 점수, AUC-ROC를 사용합니다. 손실 함수와 평가 지표를 혼동하면 모델 선택이나 하이퍼파라미터 튜닝에서 잘못된 판단을 내릴 수 있습니다.

커스텀 손실 함수를 설계해야 하는 경우도 있습니다. 도메인 특화 문제에서는 표준 손실 함수가 업무 목표를 제대로 반영하지 못할 수 있습니다. 예를 들어 의료 진단에서 양성 사례를 놓치는 비용이 음성 사례를 잘못 분류하는 비용보다 훨씬 크다면, 이를 손실 함수에 불균형 가중치로 반영해야 합니다. 이런 경우 표준 크로스 엔트로피 대신 클래스 가중치를 적용하거나, Focal Loss처럼 어려운 샘플에 더 큰 페널티를 주는 변형 손실 함수를 사용합니다.