혼동 행렬 (Confusion Matrix)

혼동 행렬(Confusion Matrix)은 실제 클래스와 예측 클래스를 교차해 분류 결과의 건수를 집계한 표입니다. 맞힌 사례뿐 아니라 어떤 종류를 다른 어떤 종류로 잘못 분류했는지도 보여 줍니다. 행과 열의 방향은 도구마다 다르며, 비율로 바꾼 표라면 무엇을 분모로 정규화했는지까지 확인해야 오탐과 미탐의 위치를 정확히 읽을 수 있습니다.

실제 클래스와 예측 클래스의 교차

scikit-learn의 혼동 행렬 문서는 행을 실제 클래스, 열을 예측 클래스로 정의합니다. 반면 구글의 분류 강의는 실제값을 열에, 예측값을 행에 놓은 표를 제시합니다. 두 표현 모두 같은 결과를 나타낼 수 있습니다. 좌측 위나 우측 아래라는 위치만 외우면 다른 도구의 표에서 오류 종류를 거꾸로 읽게 됩니다.

양성을 불량 제품으로 정한 이진 분류에서는 네 가지 결과가 생깁니다. 불량을 불량으로 맞히면 참양성(TP), 정상을 불량으로 고르면 거짓양성(FP), 불량을 정상으로 놓치면 거짓음성(FN), 정상을 정상으로 맞히면 참음성(TN)입니다. 양성과 음성은 좋은 결과와 나쁜 결과의 이름이 아니라 평가자가 정한 클래스 이름입니다. 양성의 기준을 바꾸면 네 집계의 의미도 바뀝니다.

대각선과 비율의 분모

행과 열의 클래스 순서를 같게 놓으면 대각선의 칸은 정답과 예측이 일치한 건수입니다. 대각선 밖의 한 칸은 특정 실제 클래스를 특정 다른 클래스로 오인한 수를 나타냅니다. scikit-learn의 혼동 행렬 문서는 labels로 클래스 순서를 지정하도록 합니다. 두 모델의 그림을 나란히 놓을 때 같은 위치가 같은 클래스 조합인지 확인하면 색만 보고 생기는 오독을 줄입니다.

같은 문서는 행 기준, 열 기준, 전체 건수 기준의 정규화를 구분합니다. 실제 클래스가 행인 표를 행별 합으로 나누면 각 실제 클래스가 어디로 예측됐는지의 비율이 됩니다. 열별 합으로 나누면 특정 예측 클래스 안에 어떤 실제 클래스가 섞였는지를 보여 줍니다. 계산용 예시에서 실제 불량 40개 중 10개를 정상으로 놓쳤다면 불량 행의 미탐 비율은 25%입니다. 전체 제품 수를 분모로 쓴 비율과는 다른 수치입니다.

오류 분석에 필요한 추가 기록

클래스마다 표본 수가 크게 다르면 건수가 많은 칸이 시각적으로 두드러집니다. scikit-learn의 정규화 옵션을 이용해 비율을 함께 보면 드문 클래스의 오류를 읽기 쉽습니다. 다만 한두 건으로 계산한 높은 비율과 수천 건의 같은 비율은 근거의 양이 다릅니다. 모델 평가 결과에는 원래 건수와 정규화 축, 클래스별 표본 수를 남깁니다.

혼동 행렬은 특정 예측 결과를 집계합니다. 구글의 임계값 해설은 분류 기준을 바꾸면 참양성·거짓양성 등의 수가 달라짐을 보여 줍니다. 모델이 같아도 임계값이 다르면 다른 행렬이 나오며, 데이터 레이블링 기준을 바꿔도 집계가 달라집니다. 서로 다른 기간이나 설정의 결과를 비교할 때는 그 차이를 함께 기록합니다.

한 문서에 여러 태그가 동시에 정답일 수 있는 다중 레이블 분류에서는 클래스 하나마다 포함 여부를 평가하는 방식이 필요합니다. scikit-learn의 다중 레이블 혼동 행렬 문서는 클래스별 이진 행렬을 제공합니다. 한 건이 정확히 한 클래스에 속하는 일반 다중 클래스 표와 읽는 단위가 다릅니다. 표에서 반복되는 오류 조합을 찾은 뒤 원문 사례를 살피면 비슷한 표현, 모호한 정답 기준, 빠진 학습 사례 중 무엇을 조사할지 좁힐 수 있습니다.