정밀도 지표 (Precision Score)

정밀도 지표(Precision Score)는 모델이 양성으로 예측한 항목 중 실제로 양성인 항목의 비율을 나타내는 분류 평가 지표입니다. 스팸으로 걸러낸 메일 가운데 진짜 스팸이 얼마나 되는지처럼, 선택된 결과에 섞인 오탐의 정도를 살핍니다. 부동소수점이나 양자화에서 숫자를 얼마나 세밀하게 표현하는지를 뜻하는 정밀도와는 계산 대상이 다릅니다.

예측 양성을 기준으로 하는 계산

scikit-learn의 정밀도 문서는 정밀도를 TP/(TP+FP)로 정의합니다. TP는 실제 양성을 양성으로 맞힌 수, FP는 실제 음성을 양성으로 잘못 분류한 수입니다. 분모에는 모델이 양성이라고 고른 항목만 들어갑니다. 스팸을 양성으로 정했다면 정상 메일을 정상으로 처리한 수는 이 계산에서 제외됩니다.

계산용 예시로 스팸함에 보낸 메일 20건 중 실제 스팸이 15건이고 정상 메일이 5건이면 정밀도는 15/20인 75%입니다. 이 수치는 스팸함의 결과 품질을 설명합니다. 받은편지함에 스팸이 몇 건 남았는지는 주어진 숫자만으로 계산할 수 없습니다. 양성의 뜻을 정상 메일로 바꾸면 TP와 FP도 그 기준에 따라 다시 셉니다.

재현율과 다른 질문

구글의 분류 지표 해설은 정밀도의 분모를 예측 양성, 재현율의 분모를 실제 양성으로 구분합니다. 앞선 예시에서 실제 스팸이 모두 30건이었다면 재현율은 15/30인 50%입니다. 선택한 결과의 신뢰도와 찾아낸 대상의 비율이 서로 다른 이유가 분모에 있습니다. 전체 예측 중 맞힌 비율인 정확도도 별도 지표입니다.

점수가 일정 기준 이상인 항목만 양성으로 고르는 분류기에서는 임계값을 높이면 선택되는 항목이 줄어듭니다. 구글의 임계값 해설은 이때 참양성과 거짓양성이 함께 줄어드는 관계를 설명합니다. 오탐이 줄었다는 사실만으로 정밀도가 반드시 높아졌다고 단정할 수는 없습니다. 분자와 분모가 함께 달라지므로 실제 비율을 다시 계산합니다.

비교에 필요한 조건과 빈 분모

여러 종류의 문서를 분류할 때는 종류별 정밀도와 평균 방식을 구분합니다. scikit-learn의 평균 방식 설명에 따르면 macro는 클래스별 값을 같은 비중으로 평균하고, micro는 TP와 FP 등을 전체에서 합산한 뒤 계산합니다. weighted는 실제 클래스별 표본 수를 가중치로 씁니다. 같은 모델도 평균 방식이 다르면 숫자가 달라지므로 벤치마크의 단일 점수를 비교할 때 설정을 확인합니다.

모델이 양성으로 고른 항목이 하나도 없으면 TP+FP가 0이 되어 정밀도 비율을 정의할 수 없습니다. 같은 문서는 이 상황의 기본 반환값과 경고를 설명하고, zero_division으로 처리 방식을 지정하도록 합니다. 평가 결과에 적힌 0이나 1이 실제 분류 성공률인지, 빈 분모를 처리한 값인지 구분하면 아무것도 찾지 않은 모델을 좋은 모델로 읽는 오류를 피할 수 있습니다.

운영자는 정밀도 옆에 양성 예측 수와 놓친 양성 수를 함께 기록합니다. 사람의 재검토가 필요한 분류에서는 잘못 선택된 항목이 검토 업무를 늘리고, 선택 기준을 지나치게 높이면 검토할 대상 자체가 빠집니다. 테스트 데이터의 레이블 기준과 임계값을 고정한 뒤 비교해야 모델 변경과 판정 기준 변경을 구분할 수 있습니다.