[AWS] 머신러닝에 'Context window'란? 쉽게 정리

 

📌 머신러닝에서 Context window란?

LLM(대형 언어 모델)이 한 번에 이해할 수 있는 입력(프롬프트) + 출력의 총 길이

📌 프롬프트가 너무 길면 모델이 잘라내거나 에러 발생 → context window 크기 확인 필수

https://zapier.com/blog/context-window/

 

단위: 토큰(Token)

어떤 모델의 context window가 4,000토큰이면 → 사용자 프롬프트 + AI 응답 합쳐서 4,000토큰까지만 다룰수 있다.

• 예시: GPT-3.5 → 약 4,096 tokens,
• 예시: Claude 3 → 최대 200,000 tokens 이상

🧑‍💻 사용자 입력 (프롬프트):
"오늘은 날씨가 참 좋아요. AI가 요즘 화제가 되고 있는데, 사람들이 많이 사용하고 있어요. 
챗봇은 대화를 하고, 그림도 그리고, 글도 쓰고, 정말 다양한 일을 하죠."
(이 프롬프트 = 약 40 tokens)

🤖 AI 응답:
"맞아요. 생성형 AI는 텍스트, 이미지, 코드 등 다양한 콘텐츠를 만들 수 있어서 인기가 많아요."
(이 응답 = 약 30 tokens)

 

https://community.openai.com/t/insights-on-chatgpt-enterprise-using-gpt-4-1106-preview-based-on-context-length-specifications/594562

 

---

🤔 문제

한 회사가 Amazon Bedrock을 사용하여 생성형 AI 애플리케이션을 구축하려고 합니다.
회사는 하나의 프롬프트에 얼마나 많은 정보를 담을 수 있는지 알고 싶어 합니다. 이 결정을 내리는 데 어떤 요소를 고려해야 할까요?

1. Temperature 
2. Context window 
3. Batch size
4. Model size

정답

정답 2번 Context window 

 

Temperature: 생성되는 답변의 창의성/랜덤성 조절

Batch size: 한 번에 처리할 입력 요청 수 (모델 학습 시 주로 사용)

Model size: 모델의 파라미터 수 (성능이나 응답 품질에 영향)