[AWS] DynamoDB란? 쉽게 정리 (NoSQL, On-demand, Provisioned Capacity, Accelerator (DAX), Streams, Point in time recovery, Secondary Indexes)

◇  공부 기록용으로 작성하였으니 틀린점, 피드백 주시면 감사하겠습니다 ◇

 

 

DynamoDB

 

 

Amazon DynamoDB

DynamoDB는 AWS에서 Fully managed의 serverless 서비스이다.

key-value 형식의 NoSQL 데이터베이스이다.

높은 퍼포먼스의 어플리케이션을 위해 설계되었다 → 실시간 통신 데이터 저장에 적합

 

간단한 사용 사례:

모바일 어플리케이션에서 유저가 자신의 Status를 바꾸면 유저의 친구에게 알림을 보내는 시스템

 

 

 

 

DynamoDB 주요 특징

DynamoDB

• Serverless 서비스: 서버, OS 관리 다 AWS가 해준다.
• 자동으로 동일한 Region 3개의 AZ에 자동으로 데이터를 복제하여 높은 가용성을 보장한다
• NoSQL (key-value store): NoSQL에서도 여러 종류가 있는데 그 중에서 Key-Value 형식을 따른다
  • Key-Value를 한쌍으로 묶어 여러 Key-Value들의 묶음을 테이블이라고 부른다.
    DynamoDB는 테이블 내 데이터를 빠르게 접근할 수 있도록 다양한 인덱스를 만들 수 있다.
  • 인덱스를 효과적으로 생성하면 처리 속도 향상에 기여하며, 비용 절감의 효과도 기대할 수 있다.
• DynamoDB는 계층적 데이터(Hierarchical data) 구조를 가진 JSON 형식의 데이터를 지원한다
• 자동 스케일링: 스토리지 용량은 자동으로 무제한으로 확장할 수 있다.
• 저지연 시간: 미리 초 단위의 성능(아주 낮은 Latency:지연시간)을 보여주기 때문에 다양한 분야에서 활용된다.
  • 특히 동시간대에 접속이 많은데 지연시간이 없어야하는 대규모 쇼핑 사이트나 온라인 게임에 자주 활용된다
  • 특히 Session(세션), 상태 정보를 저장하는 DB로써 자주 사용된다.
• DynamoDB의 데이터를 Export 하기 위한 도구를 제공한다.

활용 분야: 

쇼핑 사이트 (E-commerce)	온라인 게임

 

문제

한 이커머스 운영 회사에서는 상품을 카테고리화하고, 계층형 데이터로 관리하기 위한 데이터베이스를 만들고자 합니다. 이 요구 사항에 적합한 AWS 데이터베이스 서비스는 무엇입니까?

1. Amazon S3
2. Amazon DynamoDB
3. Amazon ElastiCache
4. Amazon Redshift

정답. 2번.

 

DynamoDB 세부적인 특징

 

⚡ High Availability (고가용성)

1. Multi AZ 지원: 동일한 Region의 3개의 AZ에 자동으로 데이터를 복제하여 높은 가용성을 보장한다.
   (따로 설정하지 않아도 자동으로 Multi AZ가 적용된다.)
2. DynamoDB 글로벌 테이블: 여러 리전 간에 데이터를 자동으로 복제하여 글로벌 애플리케이션을 지원한다.

https://aws.amazon.com/ko/dynamodb/faqs/?nc1=h_ls

 

 

⚡ Scalability (확장성)

DynamoDB는 Seemless하게 확장 할 수 있다.

• 자동 확장(Auto Scaling) : Provisioned 모드를 사용할 경우
  • Auto Scaling을 사용하면 테이블의 읽기/쓰기 처리 용량이 자동으로 조정된다.
  • 사용자는 목표 이용률(Target Utilization)을 설정하면, DynamoDB가 자동으로 처리 용량을 확장하거나 축소함.
  • 예시) Target Utilization:70%로 설정, DynamoDB는 실제 용량이 70%에 도달하도록 처리 용량을 자동으로 조정한다.
• 스토리지 용량 모드 선택: 스토리지 모드에 따라 Auto Scaling이 다르다 
  1. Provisioned 모드 (기본 값):
     • "트래픽이 예상 가능할 경우 사용"
     • Auto Scaling을 설정 가능하다. 
  2. On-demand 모드:
     • "트래픽이 예상 불가능할 경우 사용"
     • Auto Scaling 설정이 없다 (→ AWS측에서 알아서 Auto Scaling 해준다. Auto Scaling이 내장된 형태라고 생각하면 쉽다)

https://docs.aws.amazon.com/ko_kr/amazondynamodb/latest/developerguide/CostOptimization_TableCapacityMode.html

 

⚡ Performance (성능)

• DynamoDB가 빠른 이유?: Automatic Partitioning 기능
  • Automatic Partitioning: 데이터의 종류나 이용 목적에 따라서 테이블을 나누어서 데이터를 보존하는 기능.
  • Automatic Partitioning를 통해 분산 처리하여 안정한 1미리 초의 성능을 보여준다. 
• DynamoDB Accelerator(DAX): DAX를 활용하면 최대 10배의 읽기 작업 성능 개선 가능하다.

 

 

DynamoDB만의 기능

 

⚙️ Partition

DynamoDB는 데이터를 Partition(파티션)이라는 단위로 분산 저장한다.

• Partition key
• Partition key + Sort key

 

 

⚙️DynamoDB Global table (여러 Region에 복제)

https://aws.amazon.com/dynamodb/global-tables/

Global Table은 DynamoDB의 Table을 여러 Region에 복제하여 운영할 수 있게하는 서비스이다.

• 애플리케이션은 DB에 접근할 때, 자동으로 지리적으로 가까운 Region의 복제된 DynamoDB 테이블에 접근되도록 된다.
  • 유저가 빠르게 데이터의 읽기와 쓰기가 가능해진다. 
  • → 😀 높은 성능을 얻는다
• 여러 개의 Region에 DynamoDB의 테이블이 자동으로 Replication된다.
  • 데이터의 Replication은 기본적으로 1초내에 완료된다. 
  • → 가용성을 얻는다.

 

 

⚙️DynamoDB Accelerator (DAX): 인메모리 캐시 (읽기 속도 고속화)

DynamoDB Accelerator

DAX는 DynamoDB의 Fully managed의 인메모리 캐시 클러스터이다.

DAX를 사용하면  읽기 작업의 성능을 크게 된다. 

밀리초(천분의 일 초)였던 응답 속도를 마이크로초(백만분의 일 초) 수준의 성능으로 향상시킬 수 있다.

그렇기 때문에 DAX는 특히 읽기 요청이 많은 애플리케이션에서 유용하다.

⚠️주의점: 

캐시를 사용하여 읽기(read) 성능은 고속화 가능하지만 쓰기(write) 성능은 고속화 못한다.

 

 

⚙️ On-demand & Provisioned Capacity Mode

DynamoDB에는 2가지 용량 모드가 있다.

1. On-demand 모드
2. Provisioned 모드 (기본값)

요약 정리

Capacity Mode	On-demand	Provisioned
출시일	re:Invent 2018년	2012년
용량 관리	자동으로 조정	사용자가 사전 설정
적합한 사용 사례	트래픽이 예측 불가능할 경우, (예시: 새로운 애플리케이션)	트래픽이 예측 가능할 경우 사용, (예시: 어느정도 파악된 애플리케이션)
Auto Scailing	설정 필요없다. 자동으로 Auto Scailing 된다	Auto Scailing 필요하면 따로 설정해야한다.
비용	쓰기/읽기 요청 단위로 이용 요금이 부과	1초 동안 수행하는 쓰기/읽기 양에 따라 이용 요금이 다르다

 

 

1. On-demand Capacity Mode : 예측 불가능한 경우

• 온디맨드(On Demand)란 "요청에 따라"를 의미하며, 사용자가 요청한 만큼만 서비스를 제공하며 요청한 만큼 비용이 부과 된다.
  • 요청량과 사용된 Capacity(용량)만큼 비용이 부과된다.
• 사전에 (읽기와 쓰기를 처리하는) Capacity를 설정하지 않는다.
  • →  DynamoDB가 트래픽 변동에 따라 자동으로 Capacity(용량)를 Auto Scailing한다.
• 요청량이 불명확하거나 사용한 만큼만 지불하고 싶은 경우에 적합하다 (트래픽이 예상되지 않는 워크로드)

예측 불가능한 workload

 

2. Provisioned Capacity Mode: 예측 가능한 경우

• 프로비저닝 모드는 온디맨드 모드의 "사용한 만큼"과는 달리, 읽기 및 쓰기 양을 예약해 두는 모드이다.
• 사전에 (읽기와 쓰기를 처리하는) Capacity를 설정한다.
• 설정한 Capacity를 상한선으로 트래픽을 처리한다.
• 요청량이나 용량 요구 사항이 예측 가능한 경우 적합하다. (트래픽이 예상 가능한 경우)
• Scaling 관리 해야할 경우 사용자가 직접 Auto Scailing을 설정해야한다.
  
  

예측 가능한 workload

 

⚙️ WCU / RCU

위에서 설명한 Provisioned 모드의 쓰기 및 읽기는 "Capacity Units"이라는 단위로 관리된다.
1초 동안 얼마나 읽고 쓸 수 있는지를 예약하는 설정으로, 용량이 클수록 비용이 증가한다.

DynamoDB의 WCU와 RCU는 테이블의 읽기 및 쓰기 성능을 정의하는 용량 단위이다.

Capacity Units	의미
WCU (Write Capacity Units)	1 초 동안 최대 1KB의 데이터를 1번 기록할 수 있는 용량
RCU (Read Capacity Units)	1 초 동안 최대 4KB의 데이터를 1번 읽을 수 있는 용량

 

1 RCU... 1초 동안 4KB 크기의 항목을 한 번 읽는 데 필요한 용량

1 RCU... 1초 동안 4KB 크기의 항목을 한 번 읽는 데 필요한 용량

 

 

⚙️DynamoDB Streams (변경 사항 로그 기록)

DynamoDB 테이블의 변경사항을 캡처한다,

DynamoDB Streams

DynamoDB 테이블에 있어서 24시간 내에 변경사항을 시간 순으로 로그를 기록하는 기능.

변경사항: INSERT(추가), MODIFY(업데이트), REMOVE(삭제)

• DynamoDB의 성능 (ex. 읽기/쓰기에 대한 고속화) 와는 상관없는 기능이다.
• 주로 이벤트를 기록하고 이벤트 발생을 외부에 알리는 용도이다. (ex. Lambda)
  • 예시) DynamoDB에 데이터 업데이트가 있을 경우, Lambda 함수를 가동시켜 비동기적으로 처리할 수 있다.
    

    

    https://www.macrometa.com/event-stream-processing/dynamodb-streams

 

⚙️ Consistency에 관한 2가지 모드

• Eventually Consistent Reads:
  • 3개의 AZ에서 2개의 AZ에 데이터가 새로 Write되었다면 나머지 1개에는 옛날 정보가 남았기에 새로운 정보가 있는 2개의 AZ에서 Replicate한다.
• Strongly Consistent Reads:
  • 3개의 AZ에서 2개의 AZ에 데이터가 새로 Write되었다면 나머지 1개 AZ쪽에서 2개의 AZ에 각각 같은 파일을 갖고있는지 확인한다. 각각 확인하기 때문에 시간과 코스트가 더 오래걸린다. 

 

 

⚙️ 백업 기능: Point-in-time recovery (PITR) (자동 백업 기능)

DynamoDB에는 2 가지 백업 방법이 있다.

1. Ondemand Backup - 사용자가 원하는 타이밍에 백업 생성, (Console 또는 API로 설정)
2. Point-in-time recovery (PITR) - 자동 백업 기능, 35일 전까지 거슬러 올라갈 수 있다.

Point-in-Time Recovery(PITR)는 주기적으로 백업되는 것이 아니라, 테이블에 발생하는 모든 변경 사항을 실시간으로 캡처한다. 즉, 테이블의 데이터가 변경될 때마다 해당 변경 사항이 자동으로 기록되어 최대 35일 전까지 특정 시점으로 데이터를 복구할 수 있게 된다.

Point-in-time recovery

 

 

⚙️ Data export to Amazon S3

DynamoDB에 저장된 데이터를 S3 버킷에 이동시키고 싶을 경우, Export (내보내기) 기능을 사용하면 된다.

사용자는 이 기능을 위해 따로 애플리케이션을 준비하거나 추가 코드를 작성할 필요가 없다.

또한, 이 기능은 DynamoDB의 테이블의 성능에도 영향을 미치지 않는다는 점이 큰 장점이다.

이 기능은 내부적으로 DynamoDB의 Point-in-time recovery을 사용하므로, 대상 테이블의 Point-in-time recovery를 활성화해 두어야 한다.

 

 

 

⚙️ Time To Live (TTL): 특정 시점 지나면 데이터 삭제

TTL은 특정 시점/만료일에 자동으로 데이터를 삭제하는 기능이다.

데이터에 TTL 속성(UNIX 시간 형식의 타임스탬프)을 설정하면, 해당 시각이 되면 DynamoDB가 자동으로 데이터를 삭제한다.이 프로세스는 완전히 자동화되어 있으며 추가적인 관리나 비용이 발생하지 않는다.

이를 통해 데이터 라이프사이클 관리를 단순화하고 불필요한 데이터로 인한 스토리지 비용 증가를 방지할 수 있다.

 

 

⚙️ Global Secondary Indexes (GSI)

Global Secondary Indexes는 데이터를 더 쉽게 쿼리할 수 있게 해준다.

DynamoDB에서 기본적으로 partition key와 sort key로 쿼리할 수 있지만, 이를 넘어서 다양한 쿼리를 지원하기 위해 몇 가지 추가적인 기능을 제공한다
GSI를 사용하면 Partition Key와 Sort Key 외에도 다른 속성을 사용해서 쿼리 할 수 있다.

 

 

 

참고자료)

https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/capacity-mode.html

https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/HowItWorks.ReadConsistency.html