[AWS] Glue Workflows란? 쉽게 정리

Glue Workflows (orchestration)

Glue Job(ETL Job), Crawler, Trigger 등 순서를 정의하면, 워크플로우대로 자동 실행 해준다

즉, ETL 작업이 여러 단계로 구성되어 있을 때 아주 유용하다

 

예시:

1. 원본 데이터를 S3에서 읽어서 정제하는 Job
2. 정제된 데이터를 분석용 포맷으로 변환하는 Job
3. 변환된 데이터를 Redshift나 S3로 적재하는 Job

 

Glue의 워크플로우(Job/Crawler)를 가시화(visualize) 할 수 있다

https://docs.aws.amazon.com/glue/latest/dg/workflows_overview.html

 

 

---

🤔 문제

 

한 회사가 AWS Glue를 사용해서 ETL(Extract, Transform, Load) 데이터 파이프라인을 만들었습니다.
데이터 엔지니어는 Microsoft SQL Server에 있는 테이블을 크롤링(crawl) 해야 합니다.
또한 크롤링된 결과를 추출(Extract) → 변환(Transform) → Amazon S3 버킷으로 적재(Load) 해야 합니다.
그리고 이 전체 데이터 파이프라인을 오케스트레이션(자동 실행 관리) 해야 합니다.

이 모든 요구사항을 가장 비용 효율적으로(cost-effectively) 충족시키는 AWS 서비스 또는 기능은 무엇입니까?

 

1. AWS Step Functions
2. AWS Glue Workflows
3. AWS Glue Studio
4. Amazon Managed Workflows for Apache Airflow (Amazon MWAA)

✅ 정답

✅ 정답. 2번

 

❌ 1번 오답

Step Functions = 여러 AWS 서비스를 조합해서 워크플로우를 만들 수 있음

Glue 전용은 아니라 다른 AWS 서비스를 조합할 때 주로 사용, 가장 비용 효율적이지 않다.

 

❌ 3번 오답

Glue Studio = ETL Job을 시각적으로 설계하는 도구

“오케스트레이션(순서 제어)” 기능은 없음

 

❌ 4번 오답

MWAA = 복잡한 워크플로우 오케스트레이션 가능

(잘 사용안함, 정답 가능성 낮다)