[AWS] Data Mesh란? 아주 쉽게 정리 (Data Lake, Data Warehouse와 차이점)

Data Mesh

전통적인 중앙 집중형 데이터 아키텍처 = Data Warehouse, Data Lake

 

(전통적인 방식과 다르게)

Data Mesh는 도메인 단위로 데이터 소유권과 책임을 분산시키는 데이터 아키텍쳐

 

등장 시기

• 📦 Data Warehouse : 1980년대 후반
• 🏞️ Data Lake (DL) : 2010년대 초
• 🌐 Data Mesh : 2019년

 

 

참고 자료: https://aws.amazon.com/what-is/data-mesh/

데이터 메시란 무엇인가요? - 데이터 메시 아키텍처 설명 - AWS

 

 

---

🤔 문제

한 금융회사가 데이터 메쉬(Data Mesh)를 구현하려고 합니다.
데이터 메쉬는 중앙 집중형 데이터 거버넌스, 데이터 분석, 데이터 접근 제어를 지원해야 합니다.
회사는 AWS Glue를 데이터 카탈로그와 ETL(추출, 변환, 적재) 작업에 사용하기로 결정했습니다.
어떤 AWS 서비스 조합이 데이터 메쉬를 구현할 수 있을까요? (2개 선택)

 

1. Amazon Aurora를 데이터 저장용으로 사용합니다. Amazon Redshift 프로비저닝 클러스터를 데이터 분석용으로 사용합니다.
2. Amazon S3를 데이터 저장용으로 사용합니다. Amazon Athena를 데이터 분석용으로 사용합니다.
3. AWS Glue DataBrew를 중앙 집중형 데이터 거버넌스와 접근 제어용으로 사용합니다.
4. Amazon RDS를 데이터 저장용으로 사용합니다. Amazon EMR을 데이터 분석용으로 사용합니다.
5. AWS Lake Formation을 중앙 집중형 데이터 거버넌스와 접근 제어용으로 사용합니다.

✅ 정답

✅ 정답. 2, 5번

Amazon S3 + Amazon Athena = 최고의 조합

AWS Lake Formation = 데이터 거버넌스와 접근 제어 제공

 

❌ 1번 오답

Aurora로 도메인 단위 분산하기 어려움

 

❌ 3번 오답

DataBrew는 데이터 전처 서비스

 

❌ 4번 오답

EMR: 빅데이터 처리 가능하지만, 접근 제어, 도메인 단위 분산 관리 설정 하기 어려움