클라우드(AWS)/DVA-C03

[AWS] Kinesis Data Firehose의 데이터 변환시키기 (Lambda 함수 활용)

찌르비 2024. 11. 10. 17:43
반응형

◇  공부 기록용으로 작성하였으니 틀린점, 피드백 주시면 감사하겠습니다 ◇

 

 

Transform source data in Amazon Data Firehose

데이터 변환 (Amazon Kinesis Data Firehose)

Kinesis Data Firehose는 기본적으로 데이터를 실시간으로 스트리밍 수신하여 지정된 AWS 서비스(예: S3, Redshift, Elasticsearch 등)으로 전송하는 서비스이다.

이 때, Kinesis Data Firehose에서 수신한 데이터를 변환하려면 AWS Lambda를 사용하여 구현할 수 있다.

https://aws.amazon.com/blogs/compute/amazon-kinesis-firehose-data-transformation-with-aws-lambda/

 

 

(AWS 공식 문서): https://docs.aws.amazon.com/firehose/latest/dev/data-transformation.html

 

Transform source data in Amazon Data Firehose - Amazon Data Firehose

The Lambda synchronous invocation mode has a payload size limit of 6 MB for both the request and the response. Make sure that your buffering size for sending the request to the function is less than or equal to 6 MB. Also ensure that the response that your

docs.aws.amazon.com

🤔 문제

Amazon Kinesis Data Firehose delivery stream이 고객 데이터를 수신하고 있으며, 해당 데이터에는 개인 식별 정보(PII)가 포함되어 있습니다. 개발자는 패턴 기반 고객 식별자를 제거하고 수정된 데이터를 Amazon S3 버킷에 저장해야 합니다. 요구 사항을 충족하려면 개발자가 무엇을 해야 합니까?

 

  1. Kinesis Data Firehose 데이터 변환을 AWS Lambda 함수로 구현합니다. 이 함수가 고객 식별자를 제거하도록 구성합니다. delivery stream의 대상으로 Amazon S3 버킷을 설정합니다.
  2. Amazon EC2 인스턴스를 시작합니다. EC2 인스턴스를 delivery stream의 대상으로 설정합니다. EC2 인스턴스에서 실행 중인 애플리케이션을 사용하여 고객 식별자를 제거합니다. 변환된 데이터를 Amazon S3 버킷에 저장합니다.
  3. Amazon OpenSearch Service 인스턴스를 생성합니다. OpenSearch Service 인스턴스를 delivery stream의 대상으로 설정합니다. 검색 및 교체 기능을 사용하여 고객 식별자를 제거합니다. 데이터를 Amazon S3 버킷으로 내보냅니다.
  4. 고객 식별자를 제거하는 AWS Step Functions 워크플로를 생성합니다. 워크플로의 마지막 단계로 변환된 데이터를 Amazon S3 버킷에 저장합니다. 워크플로를 delivery stream의 대상으로 설정합니다.

정답

더보기

정답. 1번

 

OpenSearch는 주로 검색 및 분석에 사용된다.

Step Functions는 복잡한 프로세스나 여러 단계를 관리할 때 적합하지만, 단순한 데이터 변환 작업에는 불필요하게 복잡하다.

 

728x90
반응형