[AWS] AWS Snow Family 시리즈 (Snowcone, Snowball, Snowmobile 차이점, Datasync)

◇  공부 기록용으로 작성하였으니 틀린점, 피드백 주시면 감사하겠습니다 ◇

 

 

 

AWS Snow Family 서비스

AWS Snow Family는 AWS 클라우드 환경으로 대량의 데이터(exabyte 까지)를 안전하게 전송하기 위한 물리적 장치이자 서비스이다. Data Migration을 할 때 주로 사용된다.

데이터 크기 순
기가 (giga) < 테라 (tera) < 페타 (peta) < 엑사 (exa) < 제타 (zetta)

1. AWS Cosole에서 데이터 전송용 디바이스를 주문한다.
2. AWS측에서 택배로 주소지에 배달온다.
3. 디바이스에 데이터를 넣어서 AWS에 다시 택배 보내면 S3에 데이터를 업로드 해준다.

→ 물리적으로 데이터를 전송하기 때문에, 네트워크 환경이 안좋아도 Data Migration이 가능하다.

진짜 위와 같은 디바이스가 배달온다.

AWS Snow Family 구성 서비스

• Snowcone
• Snowball
• Snowmobile

Snowcone	Snowball	Snowmobile

 

참고) 데이터의 크기

8 bit (비트)	1 byte  (바이트)
1024 byte	1 kilobyte (킬로바이트)
1024 kilobyte	1 megabyte (메가바이트)
1024 megabyte	1 gigabyte (기가바이트)
1024 gigabyte	1 terabyte (테라바이트)
1024 terabyte	1 petabyte (페타바이트)
1024 petabyte	1 exabyte (엑사바이트)
1024 exabyte	1 zettabyte (제타바이트)

 

 

 

 

 

Snowcone

Snowcone

약간의 TB 단위 (최대 8TB)의 데이터 전송
(온라인 or 오프라인 전송 선택 가능)

• AWS Snowcone은 엣지 컴퓨팅 및 데이터 전송을 위한 디바이스이다. 
• Snow Family 중에 가장 작은 휴대용 디바이스이다. (손에 쥘수 있을 정도 사이즈) 
• AWS DataSync라는 것을 사용해서 온라인으로 AWS에 전송 가능하다. (다른 Snow 패밀리는 DataSync를 사용할 수 없다)
• AWS Snowcone의 스토리지 방식에는 Snowcone와 Snowcone SSD의 2가지 모델이 있다.  
  • 둘 다 2개의 CPU, 4GB의 메모리를 가진다. 하지만 저장용량이 다르다.
  • Snowcone : 8TB HDD (2.1 kg)
  • Snowcone SSD : 14TB SSD (1.8 kg)

Snowcone

Use Case: AWS에 데이터 전송

1. (📴오프라인) Snowcone에 데이터 저장 후에 AWS에 배달 보내기 (S3에 저장된다)
2. (🌐온라인) Snowcone에 데이터 저장 후에 DataSync 기능을 통해 데이터를 온라인으로 전송
   • 다른 Snow 패밀리와 같이 장비를 AWS에 배달하는 외에도, Snowcone은 DataSync를 사용하여 데이터를 이동할 수 있다. https://jibinary.tistory.com/326
   • Snowcone 장치에는 DataSync Agent가 미리 설치되어 있으며, DataSync를 사용하여 Snowcone 장치와 AWS 스토리지 서비스 간에 데이터를 전송할 수 있다.
   • 물리적 이동에서는 장치에서 S3로의 이동만 가능하지만, DataSync를 사용하면 장치에서 직접 FSx for Windows File Server로 데이터를 전송할 수 있으므로 파일의 액세스 권한을 유지한 채로 이동할 수 있다.

[AWS] DataSync란? 쉽게 개념 및 특징 정리 (AWS로 데이터 가져오기)

 

Snowcone 상세 정보

https://docs.aws.amazon.com/snowball/latest/snowcone-guide/snowcone-spec-requirements.html

Snowcone에 관한 재밌는 글: 
https://aws.amazon.com/ko/blogs/korea/how-we-sent-an-aws-snowcone-into-orbit/

AWS Snowcone을 우주로 보내다! | Amazon Web Services

 

 

 

 

Snowball

Snowball

최대 PB(petabyte) 단위의 데이터 전송 (Only 오프라인 전송)

Snowball

 

• Snow Family의 대표적인 서비스.
• Snowball은 중간 규모의 AWS로 데이터 전송 및 저장을 위한 장치이다.
  (데이터를 안전하게 암호화하기 때문에 보안면에서도 괜찮다.)
• 처음에는 Snowball이라는 이름이였지만 현재는 업그레이드 되어 Snowball Edge이라는 디바이스를 사용한다.
  (Snowball은 그냥 서비스 전체를 지칭하는 이름이 되었다)
  • 구식 디바이스) Snowball -(현재 주문 불가)
  • 신식 디바이스) Snowball Edge
• Snowball은 일반적으로 테라바이트(TB) ~ 페타바이트(PB) 규모의 대용량 데이터 안전하게 전송할 수 있다.

 

Use Case: AWS에 데이터 전송

(오프라인) Snowball에 데이터 저장 후에 AWS에 배달 보내기 (TB ~ PB 규모의 데이터)

https://aws.amazon.com/snowball/?nc1=h_ls

AWS Snowball Edge 종류

Snowball Edge

2가지 종류의 디바이스를 제공한다. (AWS Snow Family Console에서 2가지 중 원하는 디바이스를 선택)

1. Snowball Edge Storage Optimized
2. Snowball Edge Compute Optimized

	Storage Optimized	Compute Optimized
vCPU	40	52
Memory	80 GB	208 GB
GPU	-	NVDIA V100 (option)
HDD	80 TB	39.5 TB
SSD	1 TB SATA	7.68 TB NVMe

Snowball Edge Storage Optimized

• 대용량 데이터 전송이 필요할 경우, Storage Optimized가 적합하다.
• 데이터 이동: 최대 80 TB 저장 가능 (HDD)
• 전송된 데이터는 S3에 저장된다.

Snowball Edge Compute Optimized

• 강력한 computing 리소스를 활용한 경우(머신러닝, 그래픽, 분석), Compute Optimized가 적합하다.
• 데이터 이동: 최대 40 TB 저장 가능 (HDD)
• 전송된 데이터는 S3에 저장된다.

 

---

 

 

 

Snowmobile

Snowmobile

가장 큰 EB(Exabyte) 규모의 대용량 데이터 전송.
(Only 오프라인 전송 = 트럭이 운반한다) 

 

• 1대의 트럭당 최대 100PB (Only 오프라인 전송)
• 10PB 이상일 경우 Snowmobile, 10PB 이하면 Snowball 적합하다.

 

 

 

---

 

 

참고자료: https://pages.awscloud.com/rs/112-TZM-766/images/202208_AWS_Black_Belt_AWS_Snowball_Edge_Storage_Optimized.pdf