[AWS] 분류 모델 성능 평가 지표 (Classification Model)

 

 

 

https://www.enjoyalgorithms.com/blog/classification-of-machine-learning-models

 

머신러닝의 분류 모델(Classification Model) 성능 지표에 대해 조사해 보았다.

 

 

Classification Model (분류 모델)

분류 모델 성능 평가 지표

분류 모델의 성능을 평가하기 위해 다음과 같은 지표가 주로 사용된다.

 

1) Accuarcy (정확도)

 

2) Precision (정밀도)

 

3) Recall (재현율) 

4) Confusion Matrix (오차 행렬)

5) F1-score

6) ROC - AUC 

 

---

1. Accuracy (정확도)

Accuracy(정확도)는 아~~ 주 쉽다😁

 

$$ Accuracy =  \frac{ 올바르게 분류한 샘플 수 }{ 전체 샘플 수 } $$
🔹 예시:
100개의 샘플 중 90개를 맞췄다면, 정확도 = 90%

 

🔹 실제 식

$$ Accuracy =  \frac{ TP+TN+FP+FN }{ TP+TN } $$

 

TP (True Positive): 실제 positive을 positive으로 예측한 경우

TN (True Negative): 실제 negative를 negative으로 예측한 경우
FP (False Positive): 실제 negative을 positive으로 잘못 예측한 경우

FN (False Negative): 실제 양성을 음성으로 잘못 예측한 경우

---

2. Precision (정밀도)

🔹 양성(Positive) 예측이 얼마나 정확한지 평가할 수 있다
🔹 FP를 줄이는 것이 중요할 때 사용 (예: 📧스팸 필터에서 정상 메일을 스팸으로 분류하는 경우)

 

$$ Precision =  \frac{ (TP) }{ (TP + FP)} $$

 

📧 예시: 스팸 메일 분류 모델

메일 100개 중에 실제 스팸은 40개, 정상 메일 60개 있다고 가정

스팸 메일 분류 모델은 다음과 같이 예측했다.

• ✅ (TP = 35) 35개의 스팸을 정확히 예측 
• ❌ (FP = 10) 10개의 메일을 스팸으로 잘못 예측

$$ Precision =  \frac{ (35) }{ (35 + 10)} =  \frac{ (35) }{ (45) } = 0.778   $$

---

3. Recall (재현율)

🔹 실제 양성(Positive)을 얼마나 잘 찾아내는지 평가할 수 있다
🔹 FN을 줄이는 것이 중요할 때 사용 (예: 암 진단 모델에서 암 환자를 놓치면 안 됨)

 

$$ Recall =  \frac{ (TP) }{ (TP + FN)} $$

 

🤔왜 Recall(재현율)이라는 이름일까??

모델이 실제 양성(Positive) 데이터를 얼마나 잘 되찾았는지(Recalled) 나타내기 때문이다.

 

 

---

4. Confusion Matrix (오차 행렬)

모델의 예측 결과를 실제 정답과 비교하여 4가지 경우의 수로 정리한 표.

단순한 표이다. 아주 쉽다!!

		Predicted (예측)
		Positive	Negative
Acutual (실제)	Positive	TP (True Positive)	FN (False Negative)
	Negative	FP (False Positive)	TN (True Negative)

 

 

📧 예시: 스팸 메일 분류 모델

메일 100개 중에 실제 스팸은 40개, 정상 메일 60개 있다고 가정

 

스팸 메일 분류 모델은 다음과 같이 예측했다.

• ✅ (TP = 35) 35개의 스팸을 정확히 예측 
• ✅ (TN = 50) 50개의 메일을 정확히 예측
• ❌ (FN =  5) 5개의 스팸을 정상 메일로 잘못 예측 
• ❌ (FP = 10) 10개의 메일을 스팸으로 잘못 예측

		Predicted (예측)
		Positive	Negative
Acutual (실제)	Positive	35 (TP) ✅	5 (FN) ❌
	Negative	10 (FP) ❌	50 (TN) ✅

 

---

5. F1-score

F1-score는 정밀도(Precision)와 재현율(Recall)의 균형 있게 평가하는 지표이다.

 

$$ F1 = 2 \times  \frac{ Precision \times  Recall) }{ ( Precision + Recall )} $$

 

📌 F1-score는 Precision과 Recall의 균형을 이루는 지표이기에 1에 가까울수록 균형이 좋고, 0에 가까울수록 균형일 안 좋다고 할 수 있다

 

---

🤔 문제

회사는 식물 잎 사진에서 식물 질병을 예측하는 이미지 분류 모델을 구축했습니다. 회사는 모델이 올바르게 분류한 이미지의 수를 평가하고자 합니다.
모델의 성능을 측정하기 위해 어떤 평가 지표를 사용해야 합니까?

 

1. R-squared score (결정 계수)
2. Accuracy (정확도)
3. Root mean squared error (RMSE, 평균 제곱근 오차)
4. Learning rate (학습률)

정답

정답 2번