[AWS] Snow Family, DataSync, Storage Gateway의 차이점 쉽게 정리 (feat. S3 sync 명령어)

◇  공부 기록용으로 작성하였으니 틀린 점, 피드백 주시면 감사하겠습니다 ◇

 

 

 

 

AWS에 데이터 전송에 관하여 헷갈리는 3대장 서비스가 있다.

그것은 바로 Snow Family, DataSync, Storage Gateway이다.

3가지 서비스 모두 온프레미스에서 AWS에 데이터를 전송할 수 있지만 디테일이 다르다.

이 디테일에 관하여 정리를 해야겠다.

 

 

TL;DR

DataSync	자동화된 네트워크를 통한 데이터 전송 (온라인 전송, 주기적인 데이터 전송, 동기화 필요 시)
Snow Family	대량 데이터의 물리적 전송 (오프라인 전송, 네트워크 제약 시, 한번에 다 전송)
Storage Gateway	온프레미스 애플리케이션와 AWS 스토리지를 동시 운영 (하이브리드 스토리지, 백업을 위함)

 

 

DataSync

DataSync는 네트워크를 통해 온프레미스와 AWS 또는 AWS와 AWS 또는 AWS와 다른 클라우드와 연결하여 AWS 스토리지에 데이터 전송을 하는 서비스이다. (AWS 스토리지: S3, EFS, FSx)
데이터는 암호화되어 전송되기 때문에 안전하며 빠르다.

 

적합한 예시:

• 네트워크(온라인)를 통해서 전송하고 싶은 경우
• 중간 규모의 데이터 전송(예시: 10 TB ~ 999 TB)
• 데이터 센터와 클라우드 간의 지속적인 데이터 동기화가 필요한 고객
• 실시간 데이터 전송이 필요하거나, 주기적인 데이터 백업하는 경우

https://jibinary.tistory.com/326

[AWS] DataSync란? 쉽게 개념 및 특징 정리

 

 

 

 

Snow Family (Snowcone, Snowball, Snowmobile)

Snowball은 AWS에 대용량 데이터 전송을 위한 서비스이다. 

AWS 측에서 직접/물리적으로 데이터 전송을 위한 대용량 스토리지 디바이스를 빌려, 디바이스에 데이터를 저장한 다음에 AWS 측에 다시 디바이스를 보내면 Amazon S3에 데이터를 저장시켜 준다. 

 

3가지 유형:

• Snowcone: 소형 장치로, 최대 8TB 데이터를 전송할 수 있다. - (살짝 예외로 Snowcone은 Datasync와 함께 사용해서 인터넷을 통해 데이터를 보낼 수도 있다)
• Snowball (Edge): 중형 장치로, 스토리지와 컴퓨팅 기능을 함께 제공한다. (최대 80TB)
• Snowmobile: 대형 장치로, 수 페타바이트(PB) 데이터를 트럭을 이용해 물리적으로 전송한다.

적합한 예시:

• 대규모 데이터를 한 번에 전송해야 하는 경우
  • Snowmobile의 경우 트럭을 사용해서 물리적으로 전송하기 때문에 다시 전송하기는 어려움
• 네트워크/인터넷 연결이 어려운 경우
  • 높은 네트워크 비용을 피하고자 하는 고객
  • 데이터 보안 및 물리적 이동이 중요한 경우

https://jibinary.tistory.com/192

[AWS] AWS Snow Family 시리즈 (Snowcone, Snowball, Snowmobile 차이점)

 

 

 

 

AWS Storage Gateway

Storage Gateway는 온프레미스에서 AWS의 스토리지에 빠르면서 안전하게 접근 할 수 있는 서비스이다.

즉, 온프레미스의 애플리케이션이 AWS 스토리지와 함께 운영하기 위한 하이브리드 클라우드 스토리지 서비스이다.

DR을 목적으로 백업을 하는 경우 자주 사용된다.

 

3가지 유형:

• Tape Gateway: 테이프 백업을 클라우드로 아카이빙
• File Gateway: S3 버킷을 온프레미스 파일 시스템처럼 사용
• Volume Gateway: 온프레미스 스토리지를 AWS의 클라우드 스토리지와 통합

적합한 예시:

• 온프레미스의 애플리케이션을 AWS의 스토리지와 동시에 운영하는 하이브리드 클라우드 스토리지 솔루션이 필요한 경우
• AWS 스토리지를 DR의 목적으로 백업할 경우
• AWS에 데이터를 이동시킨 후에 또다시 온프레미스에서 지속적으로 데이터를 업데이트시킬 필요가 있을 경우
• 온프레미스 애플리케이션에서 클라우드 스토리지를 로컬처럼 사용할 수 있어야 하는 경우

https://jibinary.tistory.com/325

[AWS] Storage Gateway란? 쉽게 개념 정리 (File Gateway, Tape Gateway, Volume Gateway)

 

 

 

S3 Sync

S3 Sync는 AWS CLI(AWS Command Line Interface)를 사용하여 로컬 시스템(온프레미스)에서 Amazon S3 버킷으로 데이터를 전송하는 명령어이다.

CLI의 s3 sync 명령어를 사용하여 온프레미스와 S3 버킷 간 동기화도 가능하다.

이 명령어는 지정된 소스와 대상 간의 파일을 비교하고, 변경된 파일만을 복사하여 동기화하는 방식으로 작동한다

 

사용 예시:

aws s3 sync /local/directory s3://your-bucket-name

 

하지만, s3 sync 명령어는 소규모 데이터 동기화에 적합하다.

대용량 데이터 동기화의 경우, DataSync와 비교해 성능이 최적화되지 않는다.

또한, CLI 명령어는 수동으로 작업해야 하며, 자동화할 때는 스크립트 등을 준비해야 한다.

대규모 데이터 이동의 경우에는 DataSync가 더 효율적이다.

 

 

 

 

참고자료) https://d1.awsstatic.com/events/reinvent/2021/Accelerate_migrations_with_AWS_DataSync_Snow_Family__AWS_Storage_Gateway_REPEAT_STG328-R2.pdf