Amazon Sagemaker
SageMaker는 머신 러닝(ML) 모델을 쉽게 학습, 구축할 수 있는 AWS의 완전관리형 서비스이다.
SageMaker 뜻: 지혜로운 것을 만드는 도구
– Sage: 현명한, 지혜로운 (wise)
– Maker : 만드는 사람
SageMaker 주요 구성 요소
SageMaker는 머신러닝 파이프라인의 다양한 단계를 관리하는 여러 도구와 서비스를 제공합니다.
🔨 SageMaker Studio
SageMaker Studio는 전체적인 개발 환경(IDE)의 대시보드이다.
(매우 직관적이다)
머신러닝 모델을 구축, 학습, 튜닝, 배포하는 데 필요한 모든 기능을 제공한다.
🔨 SageMaker Notebooks
머신러닝/데이터 분석 분야에서 거의 필수인 Jupyter 노트북
SageMaker Notebooks은 Jupyter 노트북을 기반으로 한 인터페이스로, 데이터를 분석하고 모델을 훈련하는 데 사용된다.
[SageMaker Notebooks의 2가지 옵션]
- SageMaker Studio Notebooks (SageMaker Studio 내부에서 실행)
- SageMaker Notebook Instances (독립적인 Jupyter Notebook 인스턴스)
🔨 SageMaker Experiments
여러 머신러닝을 위한 실험을 관리하고 비교하여 최적의 모델을 찾는 데 유용한 기능이다.
모델을 훈련하고 테스트할 때 다양한 하이퍼파라미터, 데이터셋, 코드 버전을 비교하는 것이 중요한데, SageMaker Experiments를 통해 쉽게 분석할 수 있다.
SageMaker Studio를 생성 후에 SageMaker Studio 내에서 SageMaker Experiments를 설정할 수 있다.
🔨 SageMaker Training
머신러닝 모델을 훈련(traninig)시키는 서비스이다.
훈련 데이터를 준비하고, 모델을 훈련시키며, 최적의 모델을 찾는 데 필요한 다양한 도구와 리소스를 제공한다.
SageMaker → Training jobs → Create training job → Start training
[Training job 설정]
- 훈련 데이터 소스: 훈련에 사용할 데이터를 S3 bucket에서 지정
- 훈련 인스턴스 유형: GPU 또는 CPU 기반 인스턴스를 선택
- 알고리즘/프레임워크: 원하는 머신러닝 알고리즘이나 프레임워크 (예: TensorFlow, PyTorch 등)
- 훈련 스크립트: 모델 훈련에 사용할 스크립트를 작성하여 지정
🔨 SageMaker Inference
SageMaker에서 이미 훈련된 모델을 실제 환경에서 예측(Inference) 하기 위한 기능이다.
머신러닝에서 이미 학습된 모델을 사용하여 새로운 데이터에 대한 예측하는 것이다.
👨🏫 Real-time Inference (실시간 예측)
SageMaker Endpoint을 통해 API 요청을 받으면 즉시(실시간으로) 훈련된 모델이 예측을 수행하고 응답을 반환하는 방식
예시: 챗봇, 실시간 추천 시스템
👨🏫 Batch Inference (배치 예측)
대량의 데이터를 한 번에 처리하여 예측을 수행하는 방식 (실시간 요청 없이 미리 예측값을 계산)
예시: Amazon S3에 저장된 파일을 읽어 한 번에 여러 예측 결과를 처리
👨🏫 Serverless Inference
- 서버나 인프라를 직접 관리할 필요 없음
- 예측 요청이 있을 때만 자동으로 리소스를 프로비저닝
- 웹 애플리케이션에서 쉽게 호출 가능 (예: REST API 형식으로)
🔨 SageMaker Autopilot
SageMaker Autopilot는 사용자가 모델을 자동으로 생성하고 배포할 수 있도록 도와주는 서비스이다.
즉, 코드 없이도 ML 모델을 만들 수 있어서, 머신러닝에 대한 깊은 지식이 없는 사람도 쉽게 사용할 수 있다.
Autopilot는 자동화된 머신러닝(Automated ML) 서비스로, 데이터를 기반으로 최적의 모델을 자동으로 찾아주기도 한다.
🔨 SageMaker Clarify
SageMaker Clarify는 주로 머신러닝 모델에 잠재적인 Bias(편향)가 있는지 식별하는 데 사용하는 서비스이다.
SageMaker Clarify는 머신러닝 모델을 훈련시키기 전, 데이터 준비 단계에서 데이터와 모델의 fairness(공정성), explainability(해석 가능성), 유해성(Toxicity), bias(편향)을 분석하는데 도움을 준다.
- 학습 데이터나 모델 응답에 편향(bias)이 있는지를 감지할 수 있다.
- SageMaker Clarify는 모델의 예측 결과에 대해 설명 가능성(explainability)을 파악할 수 있다.
- 설명 가능성(explainability): 예측에 영향을 준 특성(feature)이 무엇인지 설명
- 예시: Shapley 값을 사용하여 각 feature이 모델 예측에 얼마나 기여했는지 알 수 있다.
- Partial Dependence Plot은 특정 feature의 값이 변경될 때 모델의 예측이 어떻게 변하는지 보여준다.
- 리포트 및 메트릭 생성: 규제 기관에 제출 가능한 형태로 생성
- Clarify에는 Foundation Model의 성능을 평가할 수 있는 FMEval이라는 라이브러리도 포함되어 있다.
- 여러 Foundation Model의 성능 품질을 비교 가능
- 편향(Bias), 유해성(Toxicity) 같은 책임성 지표도 측정 가능
즉, Clarify는 모델의 작동 원리를 명확히 보여줄 수 있는 기능이다. 따로 코드를 짤 필요가 없고, 분석 결과를 시각화 할 수 있다.
🔨 SageMaker Feature Store
SageMaker Feature Store는 머신러닝(ML) 모델을 위한 Feature 관리 서비스이다.
머신러닝의 feature을 저장, 관리, 공유할 수 있도록 도와주는 중앙 저장소이다.
Feature 데이터가 여러 곳에 흩어져 있으면 머신러닝 모델의 훈련 & 추론 시 일관성이 깨질 수 있다.
그렇기 때문에 SageMaker Feature Store의 중앙 집중형 Feature Store를 사용하면 팀 간 공유도 쉽고 중복 데이터 저장을 방지할 수 있다. 즉, 여러 팀이서 공통된 프로젝트의 feature를 재사용, 공유할 수 있다.
🔨 SageMaker JumpStart
"jump-start" 영어 뜻
1. 자동차 배터리가 방전되었을 때 "자동차 배터리를 케이블로 연결해 시동을 걸다"라는 의미
2. 어떤 일의 상황이 저조할 때 특별한 조치를 취해서 빠르게 시작하다 / 촉진시키다 / 활성화하다
SageMaker JumpStart는 이미 학습된(Pre-trained) 머신러닝 모델을 바로 가져다 쓸 수 있게 해주는 기능이다.
즉, ML 전문가가 아닌 사람들도 몇번의 클릭만으로 쉽게 ML을 구축할 수 있다.
👉 Pre-trained 모델 예시:
[이미지 분류: ResNet, VGG]
[자연어 처리: BERT, GPT] 등
AWS에서 제공하는 기본 ML 모델과 Hugging Face, TensorFlow, PyTorch 등 유명한 오픈소스 모델 사용 가능하다.
🔨 SageMaker Model Cards
SageMaker Model Cards는 머신러닝 모델의 Metadata와 그 외에 중요한 정보(예: Lifecycle 등)을 체계적으로 문서화하는 데 도움을 주는 도구이다.
Model Card는 모델의 특성, 성능, 훈련 데이터, 윤리적 고려사항 등을 명확하게 정의하고, 모델의 사용자가 그 모델을 제대로 이해하고 사용할 수 있도록 돕는 역할을 한다
🔨 SageMaker Data Wrangler
Data Wrangler는 기계학습용 데이터 준비(Data Preparation) 를 간편하게 수행할 수 있도록 하는 도구이다.
✅ 주요 기능
📍데이터 수집 (Data Import):
S3, RDS, Redshift, Athena, Snowflake 등 다양한 데이터 소스에서 데이터를 가져옴
📍데이터 정리 및 변환 (Data Cleaning & Transformation):
결측값 처리, 중복 제거, 형식 변환, 피처 엔지니어링 등을 쉽게 수행할 수 있음.
📍시각화 (Data Visualization):
히스토그램, 상관 행렬 등의 시각화 기능을 통해 데이터 분석 가능.
🔨 SageMaker Canvas
SageMaker Canvas는 코드 없이도 머신러닝 모델을 만들고 예측할 수 있는 도구이다. (코딩 없이 머신러닝 모델)
즉, 프로그래밍, 코딩 지식 없이도 머신러닝을 사용할 수 있도록 도와주는 GUI 기반의 서비스이다.
(ChatGPT처럼 대화를 하거나 텍스트 요약 같은 작업을 하는 기본 생성형 AI 모델(FMs)들이 준비되어 있다)
CSV 같은 테이블형 데이터를 사용해서 간단한 예측이 가능하다.
예시: CSV 데이터를 통한판매량 예측
🔨 Amazon SageMaker Pipelines
머신러닝 모델의 데이터 준비부터 배포까지 완전히 자동화된 워크플로우를 생성하고 관리할 수 있는 기능이다.
🔨 Amazon SageMaker Model Monitor
머신러닝 모델이 실제 환경에서 예상대로 작동하는지 지속적으로 모니터링할 수 있는 서비스
모델의 품질 변화(예: 데이터 드리프트, 이상 현상 등)를 감지하여 자동으로 알림을 보낼수 있다.
편향(Bias) 감지에는 사용하지 않는다.
데이터 드리프트 (data drift)
모델이 학습한 데이터와 실제 운영(실시간) 환경에서 들어오는 데이터가 달라지는 현상
🔨 SageMaker Automatic Model Tuning (AMT)
자동으로 여러 모델을 학습시켜서, 가장 좋은 하이퍼파라미터 조합을 찾아준다.
예: 이진 분류 모델에서, AUC 점수를 기준으로 최고의 성능을 찾도록 설정
🤔 문제 1
회사는 프로덕션 환경에서 머신러닝(ML) 파이프라인을 운영하기 위해 Amazon SageMaker를 사용하고 있습니다.
입력 데이터 크기는 최대 1GB이며, 처리 시간은 최대 1시간이 걸립니다.
또한, 회사는 실시간에 가까운(latency가 짧은) 응답 속도를 필요로 합니다.
어떤 SageMaker 추론 옵션이 이러한 요구사항을 충족할까요?
- 실시간 추론 (Real-time inference)
- 서버리스 추론 (Serverless inference)
- 비동기 추론 (Asynchronous inference)
- 배치 변환 (Batch transform)
정답
정답. 3번
비동기 추론은 실시간 추론처럼 즉시 응답을 제공하지 않지만, 빠른 속도로 결과를 제공할 수 있도록 설계되었다.
"실시간에 가까운" 응답을 제공하기 때문에 실시간 추론과는 약간 차이가 있지만, 빠른 처리를 요구하는 애플리케이션에 적합하다.
| Real-Time Inference | 고트래픽, 저지연 응답이 필요한 실시간 애플리케이션에 적합 |
| Asynchronous Inference | 큰 데이터와 긴 처리 시간이 필요한 작업에 적합 (실시간 응답 필요 없음) |
| Batch Transform | 대규모 오프라인 데이터 처리에 적합 (실시간 필요 없음) |
| Serverless Inference | 간헐적이고 예측 불가능한 트래픽에 적합, 인프라 관리 필요 없음 |
🤔 문제 2
한 회사가 Amazon SageMaker를 사용하여 머신러닝(ML) 모델을 구축하려고 합니다.
이 회사는 모델 개발 중에 여러 팀이 변수를 공유하고 관리할 수 있어야 합니다.
이러한 요구사항을 충족하는 SageMaker 기능은 무엇입니까?
- Amazon SageMaker Feature Store
- Amazon SageMaker Data Wrangler
- Amazon SageMaker Clarify
- Amazon SageMaker Model Cards
정답
정답. 1번
Amazon SageMaker Feature Store: 여러 팀에서 공통된 Feature를 사용 가능
Amazon SageMaker Data Wrangler: 데이터를 정제하고 전처리하는 도구: Data Preparation
Amazon SageMaker Clarify: 편향(bias)을 분석
Amazon SageMaker Model Cards: 모델의 목적, 사용 제한 사항, 성능 등을 기록하는 문서화 기능
🤔 문제 3
어떤 AWS 기능이 머신러닝 인스턴스 데이터에 대한 세부 정보를 기록하여 거버넌스(관리)와 보고(리포팅)에 사용됩니까?
- Amazon SageMaker Model Cards
- Amazon SageMaker Debugger
- Amazon SageMaker Model Monitor
- Amazon SageMaker JumpStart
정답
정답. 1번
Amazon SageMaker Model Cards
모델 카드(Model Card)는 머신러닝 모델에 대한 세부 정보를 문서화하기 위한 기능이다.
🤔 문제 4
의료 회사가 진단 목적으로 기초 모델(Foundation Model, FM)을 커스터마이징하고 있습니다.
이 회사는 규제 요건을 충족하기 위해 모델이 투명하고 설명 가능해야 합니다. 이 요구 사항을 충족할 수 있는 솔루션은 무엇입니까?
- Amazon Inspector를 사용하여 보안 및 컴플라이언스를 구성한다.
- Amazon SageMaker Clarify를 사용하여 간단한 메트릭, 리포트, 예시를 생성한다.
- Amazon Macie를 사용하여 학습 데이터를 암호화하고 보호한다.
- 더 많은 데이터를 수집하고, Amazon Rekognition을 사용하여 데이터에 사용자 지정 라벨을 추가한다.
정답
정답 2번
'클라우드(AWS) > AIF-C01' 카테고리의 다른 글
| [ML] 머신러닝 문제 유형 (분류와 회귀 문제: Classification, Regression) (1) | 2025.03.23 |
|---|---|
| [AWS] 머신러닝에서 'Temperature'란? 쉽게 정리 (0) | 2025.03.22 |
| [AWS] 머신러닝 분류(Classification) 모델 성능 평가 지표 (Accuarcy, Precision, Recall, Confusion Matrix, F1-score, ROC-AUC) (0) | 2025.03.12 |
| [AWS] Decision Tree란? (의사 결정 트리) 쉽게 정리 (0) | 2025.03.09 |
| [AWS] Named Entity Recognition (NER)란? 쉽게 정리 (0) | 2025.03.08 |
