[AWS] Data Exchange란? 아주 쉽게 정리 (외부 데이터를 구독하여 사용하는 서비스)

AWS Data Exchange란?

서드 파티(third party)에서 제공하는 데이터를 구독(subscribe)하여 주로 AWS S3를 통해 자동 전송 받아 사용한다.

외부 데이터셋을 무료/유료 구독하여 사용할 수 있는 서비스

 

 

• Subscriber (데이터 구독자)
• Provider (데이터 제공자)

데이터만 있다면 누구나 데이터 제공자(Provider)가 될 수 있음 (판매하거나 무료로 공유)

 

🏢 서드 파티(Third-party)  대표 예시

데이터 제공자 (provider)

• 📰 Reuters – 금융 뉴스, 시장 데이터
• 📍 Foursquare – 위치 기반 데이터, 매장 방문 기록
• 🎬 IMDb – 영화·TV 프로그램 정보, 리뷰, 평점
• 🏥 Change Healthcare – 의료 청구·통계 데이터
• 🛢️ Vortexa – 에너지 시장, 원유 운송 데이터
• 📊 SafeGraph – POI(Point of Interest), 인구 통계 데이터
• ☀️ Weather Source – 기상 데이터
• 💹 FactSet – 금융·투자 관련 데이터

 

 

 

 

 

https://aws.amazon.com/blogs/aws/aws-data-exchange-find-subscribe-to-and-use-data-products/

 

 

📦Product Catalog(상품 카탈로그)

👉 Provider가 올린 모든 데이터 상품(Product)을 모아 놓은 목록을 의미한다.

 

Product Catalog 구조 :

Product Catalog
 ├─ Product A (예: 금융 데이터)
 │     ├─ Dataset 1
 │     └─ Dataset 2
 ├─ Product B (예: 교통 데이터)
 │     └─ Dataset 1
 └─ Product C (예: 영화 데이터)
       └─ Dataset 1

 

https://aws.amazon.com/blogs/aws/aws-data-exchange-find-subscribe-to-and-use-data-products/

 

 

📂 Data Set (데이터 셋)

지원하는 데이터셋 종류는 형식에 제한이 거의 없고, 보통 파일 형태로 S3에 저장할 수 있는 데이터라면 대부분 가능

• CSV (표 형식 데이터)
• XML
• JSON (로그·이벤트·API 응답 등)
• Parquet / ORC (분석용 컬럼 기반 포맷, 빅데이터 처리에 적합)
• 이미지·동영상·텍스트 파일 등 바이너리 데이터도 가능
• 압축 파일 (ZIP, GZIP 등)

https://aws.amazon.com/blogs/aws/aws-data-exchange-find-subscribe-to-and-use-data-products/

 

Revision: 데이터 세트의 버전을 의미한다.

 

---

 

🤔 문제

한 미디어 회사가 사용자 행동과 선호도를 기반으로 미디어 콘텐츠 추천 시스템을 개선하려고 합니다.
추천 시스템을 개선하기 위해, 회사는 서드파티(third-party) 데이터셋의 인사이트를 기존 분석 플랫폼에 통합해야 합니다.
회사는 서드파티 데이터셋 통합에 드는 노력과 시간을 최소화하고 싶어합니다.
최소한의 운영 부담(LEAST operational overhead)으로 요구사항을 만족시키는 솔루션은 무엇인가요?

1. API 호출을 사용하여 AWS Data Exchange에서 서드파티 데이터셋을 접근하고 통합한다.
2. API 호출을 사용하여 AWS DataSync에서 서드파티 데이터셋을 접근하고 통합한다.
3. Amazon Kinesis Data Streams를 사용하여 AWS CodeCommit 리포지토리의 서드파티 데이터셋을 접근하고 통합한다.
4. Amazon Kinesis Data Streams를 사용하여 Amazon Elastic Container Registry(Amazon ECR)의 서드파티 데이터셋을 접근하고 통합한다.

✅ 정답

✅ 정답. 1번

 

❌ 2번 오답

DataSync는 파일 시스템의 데이터 이동을 자동화 해주는 서비스이다.

그렇기 때문에 S3, EFS, FSx, NFS 서버 등이 대상이다.

 

❌ 3번 오답

전혀 다른 내용, 완전 오답

 

❌ 4번 오답

전혀 다른 내용, 완전 오답