Diki 검색중...

#개념

모델 성능 평가 지표(Model Evaluation Metrics)는 머신러닝 모델의 예측 성능을 정량적으로 판단하기 위해 사용되는 기준들이다. 분류(Classification) 모델의 경우, 일반적으로 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1 점수(F1 Score), ROC 곡선과 AUC 등이 주로 활용된다.
대표적인 모델 성능 평가 지표
  • 정확도 : 전체 샘플 중 올바르게 예측한 비율을 나타내며, 직관적이지만 클래스 불균형 문제가 있는 데이터에서는 한계가 있다.
  • 정밀도 : 모델이 양성이라고 판단한 것 중 실제 양성의 비율로, 오탐(False Positive)을 줄이는 데 초점을 맞춘다.
  • 재현율 : 실제 양성 중에서 모델이 올바르게 예측한 비율로, 놓치는 경우(False Negative)를 줄이는 데 중요하다.
  • F1 점수 : 정밀도와 재현율의 조화 평균으로, 둘 사이의 균형을 평가할 때 유용하다.
  • ROC 곡선 : 민감도(재현율)와 1-특이도(False Positive Rate) 간의 관계를 시각화하며, AUC(Area Under the Curve)는 그 면적으로 모델의 전반적인 분류 성능을 나타낸다.
이러한 지표들은 모델의 하이퍼파라미터 튜닝, 앙상블 비교, 비즈니스 요구조건에 맞는 성능 조정 등 다양한 상황에서 필수적으로 사용된다. 특히, 클래스 불균형 문제를 가진 데이터세트에서는 단순 정확도보다는 F1 점수나 AUC 등 더 민감한 지표가 중요하게 고려되어야 한다.

#관련 용어

정밀도
예측한 양성 중 실제 양성의 비율
재현율
실제 양성 중 모델이 예측한 비율
F1 점수
정밀도와 재현율의 조화 평균
AUC
ROC 곡선 아래 면적으로 평가된 분류 성능

#직무 연관도

DA | Data Analyst높음
데이터 기반 의사결정과 성능 지표 해석 능력이 중요
DS | Data Scientist밀접
실험 결과 비교 및 논문 제출 시 신뢰도 높은 성능 지표 활용
DE | Data Engineer높음
실제 서비스에서 모델 선택 및 경량화 시 성능 비교 기준 제공

#사용 사례

의료금융보안마케팅공공 데이터 분석
개요
모델 평가 지표는 특히 예측 정확도가 생명과 직결되는 분야(의료, 보안)에서 중요하며, 불균형한 데이터세트 환경에서 핵심적인 의사결정 지표로 활용된다.
사례
의료 진단 모델에서 민감도와 특이도를 모두 고려한 F1 Score 기반 성능 평가

#참고 자료

#추천 포스트

© 2024 diki All rights reserved.