[AWS] 머신러닝에서 Top-K와 Top-P 란? 쉽게 정리

 

 

항목	Top-K	Top-P (Nucleus Sampling)
기준 방식	상위 K개 단어만 고려	누적 확률이 P 이상인 단어만 고려

 

🔍 Top-K란?

Top-K는 머신러닝 모델이 예측한 단어 중 상위 K개만 선택하는 방식이다.

K개만 선택하도록 제한함으로써, 원하는 정보만 얻을 수 있다.

즉, Top-K는 원하는 정보를 얻기위한 LLM의 출력의 하이퍼파라미터이다.

 

 

✅ 쉬운 예시 :  추천 시스템 (Recommendation)

사용자가 좋아할 가능성이 높은 Top 3개의 영화 추천

 

영화 추천 모델의 예측 확률 (Top-3 적용 전)
🎥 "Inception" → 28%
🎥 "Interstellar" → 22%
🎥 "The Matrix" → 15%
🎥 "The Dark Knight" → 12%
🎥 "Avatar" → 10%
🎥 "Titanic" → 7%

 

영화 추천 모델의 예측 확률 (Top-3 적용 전)

1️⃣ "Inception" 🎥 → 50%
2️⃣ "Interstellar" 🎥 → 30%
3️⃣ "The Matrix" 🎥 → 20%

 

🔍 Top-P란?

Top-P (또는 nucleus sampling)은 텍스트를 생성하는 언어 모델에서 사용하는 샘플링 기법

가장 확률이 높은 단어들 중에서 누적 확률이 P(예: 0.9)를 넘을 때까지 모은 후보들 중 하나를 랜덤으로 선택하는 방법

 

모델은 다음에 올 모든 단어 후보에 대해 확률을 부여한다 (이 단어들을 확률 순으로 정렬)
위에서부터 더해가며 누적 확률이 P(예: 0.9)가 넘을 때까지 모은다
→ 이걸 Top-P 집합이라고한다.

단어	확률
"apple"	0.4
"banana"	0.3
"car"	0.15
"dog"	0.05
"egg"	0.04
"fish"	0.03
...	...

• P = 0.9일 경우 → ["apple", "banana", "car"] → 이 셋 중에서 랜덤 선택