[AWS] Continued Pre-training란? 쉽게 정리

 

Continued Pre-training (계속된 사전학습)

기존에 학습된 큰 언어 모델(FM)을 특정 분야에 맞게 더 학습시키는 것
이 과정에서는 레이블(정답) 없는 데이터셋도 사용할 수 있다.

 

Continued Pre-training과 Fine-tuning의 차이

	Continued Pre-training	Fine-tuning
데이터 유형	레이블 없는 대규모 데이터 (unlabeled data)	레이블 있는 데이터 (labeled data)