교차 검증 (Cross-Validation)

교차 검증(Cross-Validation)은 데이터를 여러 학습·검증 묶음으로 나누어 모델을 반복 학습하고, 보지 않은 데이터에 대한 성능을 추정하는 평가 방법입니다. 한 번의 분할에 따라 점수가 달라지는 문제를 줄이고 모델 설정을 비교할 때 사용합니다. 각 회차에서는 검증용으로 남긴 자료가 그 회차의 학습에 들어가지 않도록 분리합니다.

폴드를 바꾸는 반복 평가

K겹 교차 검증은 데이터를 K개 묶음인 폴드로 나눕니다. 한 폴드를 검증에 남기고 나머지로 학습한 뒤, 검증 폴드를 바꾸어 같은 절차를 반복합니다. scikit-learn의 교차 검증 문서는 이 과정의 점수를 모아 모델을 평가하는 방법을 설명합니다. 회차마다 새로 학습하므로 한 모델을 계속 학습시키며 검증 자료만 바꾸는 과정과 다릅니다.

평균 점수는 여러 분할에서의 전반적인 성능을 보여 주고, 폴드 사이의 차이는 분할에 대한 민감도를 보여 줍니다. 같은 평균이라도 특정 폴드에서만 성능이 낮다면 자료 구성과 오류 사례를 더 살펴볼 이유가 생깁니다. 폴드들이 학습 자료를 공유하므로 점수 여러 개를 서로 독립인 실험처럼 취급해 신뢰 구간을 계산하는 데에는 주의가 필요합니다.

모델 평가에서 비교하려는 대상은 정답을 외우는 능력보다 새 자료에 적용되는 패턴입니다. 오버피팅이 심하면 학습 점수와 검증 점수의 차이가 커질 수 있습니다. 교차 검증은 이런 차이를 살펴보는 수단이며, 데이터가 적거나 운영 환경을 잘 대표하지 못하면 반복 횟수를 늘려도 관측하지 않은 사례의 정보를 만들어 내지는 못합니다.

데이터 구조에 맞는 분할

같은 사람의 여러 기록이나 같은 문서에서 잘라 낸 조각이 양쪽에 섞이면 검증 자료가 학습 자료와 지나치게 비슷해집니다. scikit-learn의 분할 방식 안내는 사람·실험·장비 같은 그룹 구조가 있을 때 그룹 단위 분할을 권합니다. 새 사용자를 만날 때의 성능을 알고 싶다면 한 사용자의 기록 전체가 같은 쪽에 놓여야 평가 질문과 분할이 일치합니다.

미래 수요를 예측하는 데이터에는 시간 순서도 조건이 됩니다. 미래 관측치로 학습한 모델을 과거 관측치에서 시험하면 실제 배포 순서를 재현하지 못합니다. 과거 구간으로 학습하고 뒤 구간으로 검증하는 분할을 사용하며, 입력을 만들 때 참조하는 기간이 길면 학습·검증 경계에서 겹치는 정보도 확인합니다. 무작위 섞기는 이런 문제를 자동으로 해결하지 않습니다.

분류 문제에서는 클래스 비율을 비슷하게 유지하는 층화 분할이 드문 클래스가 일부 폴드에서 사라지는 문제를 줄입니다. 다만 비율을 맞췄다는 사실만으로 같은 사람의 중복이나 시간 누수가 사라지지는 않습니다. 어떤 조건을 우선할지는 예측 시점과 대상에 따라 정하며, 데이터 레이블링의 기준이 시기마다 달랐는지도 분할 결과와 함께 살펴봅니다.

모델 선택과 최종 성능의 구분

여러 설정 중 가장 높은 교차 검증 점수를 고른 뒤 그 점수를 그대로 최종 성능으로 쓰면 선택 과정의 낙관적 편향이 섞입니다. scikit-learn의 중첩 교차 검증 예제는 안쪽 반복에서 설정을 고르고 바깥쪽 반복에서 선택 절차 전체를 평가합니다. 별도로 보관한 테스트 세트를 마지막에 한 번 평가하는 방법도 있으며, 그 결과를 보고 다시 설정을 바꾸면 테스트 세트도 선택 과정에 사용된 셈입니다.

정규화의 평균과 분산, 결측값을 채울 기준, 사용할 특징의 선택도 학습에 포함됩니다. scikit-learn의 전처리 안내처럼 각 회차의 학습 자료에서만 기준을 구하고 검증 자료에는 계산된 변환을 적용합니다. 전체 자료를 먼저 전처리한 뒤 교차 검증을 시작하면 정답 열을 직접 쓰지 않아도 검증 자료의 정보가 학습 과정에 들어갑니다.

기록에는 분할 단위와 시간 범위, 폴드 수, 평가 지표, 설정을 선택한 방법을 함께 남깁니다. 손실 함수가 낮아지는 설정과 업무에서 중요한 오류가 줄어드는 설정은 다를 수 있어 비교 지표의 선택도 결과 해석에 포함됩니다. 최종 모델을 전체 학습 자료로 다시 학습할 때는 교차 검증에 사용한 개별 모델들과 학습 자료의 양이 달라진다는 점도 구분합니다.