데이터 누수 (Data Leakage)

데이터 누수(Data Leakage)는 머신러닝에서 실제 예측 때 얻을 수 없는 정보가 학습이나 모델 선택에 섞여 평가를 왜곡하는 문제입니다. 테스트 데이터의 통계나 정답에 관한 정보가 모델을 만드는 과정에 들어오면 새 데이터에서 낼 성능을 낙관적으로 추정할 수 있습니다. 여기서는 보안 사고로 개인정보가 외부에 유출되는 의미와 구분해, 학습과 평가 사이의 정보 경계를 다룹니다.

예측 시점에 사용할 수 없는 정보

scikit-learn의 데이터 누수 해설은 모델을 만들 때 실제 예측 시점에 얻을 수 없는 정보를 사용하면 평가가 지나치게 낙관적으로 될 수 있다고 설명합니다. 정보가 반드시 정답 열의 복사본일 필요는 없습니다. 테스트 표본을 포함해 계산한 통계도 학습 과정에 평가 대상의 정보를 전달합니다. 파일을 둘로 나눴다는 사실만으로 정보 경계가 지켜지는 것은 아닙니다.

계약 체결 전에 고객의 구매 여부를 예측하는 모델에 계약 후 확정된 결제 상태를 넣으면, 예측할 순간에는 없는 정보를 입력에 쓴 것입니다. 데이터 추출 시점에는 값이 채워져 있어도 업무에서 예측할 순간에는 아직 없던 값이면 입력 조건이 맞지 않습니다. 열 이름보다 값이 생성된 시각과 사용할 수 있게 된 시각을 확인하는 편이 원인을 직접 드러냅니다.

전처리의 학습 범위

평균으로 결측값을 채우거나 수치의 범위를 조정하는 전처리도 데이터에서 값을 학습합니다. scikit-learn의 누수 방지 지침은 먼저 학습·테스트 데이터를 나누고, 전처리의 학습에는 학습 부분만 사용하도록 설명합니다. 전체 데이터의 평균을 구한 뒤 나누면 테스트 정보가 학습 입력을 만드는 데 이미 반영됩니다. 정답을 쓰지 않는 변환에도 이런 경로가 생깁니다.

전처리를 테스트 데이터에 적용하는 행위 자체는 필요합니다. 학습 데이터에서 변환 기준을 정하는 fit과 정해진 기준을 적용하는 transform의 역할을 구분합니다. 같은 지침의 Pipeline은 전처리와 모델을 묶어 교차 검증의 각 학습 부분에 맞춰 적합하도록 돕습니다. 잘못 만든 입력 열이나 부적절한 분할까지 자동으로 판별하는 장치는 아니므로, 입력과 분할의 설계는 별도로 점검합니다.

반복 평가와 데이터의 관계

scikit-learn의 교차 검증 해설은 테스트 점수를 보며 설정을 계속 고르면 그 시험 자료에 관한 지식이 모델 선택에 스며든다고 설명합니다. 선택용 검증 데이터와 최종 테스트 데이터를 분리하는 이유입니다. 테스트 점수에 맞춘 수정은 모델 가중치를 직접 학습하지 않아도 일어나며, 이런 선택이 반복되면 시험 자료에 대한 오버피팅 위험이 생깁니다.

같은 사람이나 기기에서 나온 여러 기록은 서로 독립적이지 않을 수 있습니다. 같은 문서는 그룹을 고려한 분할과 시간 순서에 따른 검증을 별도로 다룹니다. 새 고객에게 적용할 성능을 재려는데 같은 고객의 기록이 학습과 시험 양쪽에 섞이면 평가 질문이 달라집니다. 미래 예측을 평가한다면 학습 이후 시점의 데이터로 시험하는 조건도 검토합니다. 모든 반복 기록이 자동으로 누수인 것은 아니며 실제 배포 대상과 시점에 맞춰 판단합니다.

누수가 의심되면 점수만 낮추어 보정하지 않고 정보가 들어온 경로를 추적합니다. 입력 값의 생성 시각, 전처리를 적합한 데이터 범위, 분할 기준, 테스트 결과를 보고 내린 선택을 기록하면 재평가 범위를 정할 수 있습니다. 높은 점수만으로 누수를 확정하거나 누수가 없다고 결론 내리지는 않습니다. 수정한 경계를 유지한 상태에서 별도 평가를 수행해야 이전 점수와 비교할 근거가 생깁니다.