[AWS] CloudWatch Logs 기능이란? 쉽게 개념 정리

◇  공부 기록용으로 작성하였으니 틀린점, 피드백 주시면 감사하겠습니다 ◇

 

 

 

CloudWatch Logs

CloudWatch Logs는 애플리케이션의 로그를 실시간으로 수집하고 저장 할 수 있는 기능이다.

이를 통해 로그 데이터를 수집하고, 검색하고, 분석하며, 알림을 설정할 수 있다.

 

수집한 로그에 일정 값을 정해서 알람을 보내게 할 수 있다 

예시) 에러 횟수가 5번 기록되면 알람 보내기

https://dev.classmethod.jp/articles/notification_cloudwatchlogs_from_sns/

 

 

CloudWatch의 전문 용어 & 기능

• 로그 스트림 (Log Stream):
  • 특정 로그 이벤트의 시퀀스를 기록하는 엔터티. 
• 로그 그룹 (Log Group):
  • 관련된 로그 스트림을 그룹화하여 관리하는 컨테이너
  • 예시: 웹 서버 애플리케이션의 로그를 /webserver/logs 로그 그룹에 저장
• 로그 이벤트 (Log Event):
  • 로그 스트림에 기록된 단일 로그 항목
  • 예시: 2024-06-25 12:34:56, ERROR, User login failed
• 메트릭 필터 (Metric Filter):
  • 로그 데이터를 분석하여 특정 패턴을 감지하고, 이를 CloudWatch 메트릭으로 변환하는 기능
  • 예시: 로그 이벤트에서 "ERROR" 문자열을 감지하여 ErrorCount라는 메트릭을 생성
• 알람 (Alarm):
  • 알람은 특정 메트릭이 설정된 임계값을 초과하거나 미달할 때 알림을 생성하는 기능
  • 예시: ErrorCount 메트릭이 5를 초과할 때 이메일로 알림을 받도록 설정

 

 

 

로그 수집 방법 (예시)

• EC2 인스턴스: CloudWatch Agent를 설치하여 애플리케이션 로그를 CloudWatch에 보내도록 하여 로그 수집.
• Lambda 함수: Lambda 함수에서 자동으로 로그가 CloudWatch Logs로 전송된다.
• RDS: RDS의 로그를 CloudWatch Logs로 전송할 수 있다.
• VPC Flow Logs: VPC 네트워크 트래픽 로그를 CloudWatch Logs로 전송할 수 있다.

 

 

주요 기능

CloudWatch Logs

• Log Groups: 로그 데이터를 하나의 그룹으로 묶어 관리하기 위한 컨테이너
• Log Anomalies: 로그 데이터에서 비정상적인 패턴이나 이상을 자동으로 감지하는 기능 (머신 러닝 알고리즘을 사용)
• Live Tail: 실시간으로 로그 데이터를 모니터링하는 기능
• Logs Insights: 로그 데이터 분석 기능, 쿼리하여 특정 로그만 추출 가능
• Contirbutor Insights:  로그 데이터를 기반으로 시스템 성능과 운영 효율성을 분석하는 도구

 

 

로그 그룹 (Log Group)

특정 애플리케이션 또는 서비스의 로그를 그룹화하는 컨테이너이다.

이를 통해 맘대로 특정 로그를 그룹화하여 구조화하여 관리 할 수 있다.

https://archive.eksworkshop.com/advanced/330_servicemesh_using_appmesh/integrate_observability/cloudwatch_logs/

• Retention : 로그 그룹마다 보관 기간을 설정할 수 있으며, 보관 기간이 지나면 자동으로 로그 데이터가 삭제된다.
• 액세스 제어: IAM 정책을 통해 로그 그룹에 대한 접근 권한을 관리할 수 있다.
• Metrics Filters: 로그 데이터를 분석하여 특정 패턴을 감지하고, 이를 CloudWatch Metrics로 변환하는 기능

 

로그 모니터링 및 경고 (Alarm - Metric Filters)

• Metric Filter: CloudWatch Logs의 Log Group에서 Metric Filters를 작성하여, 로그 데이터의 문자열을 패턴으로 필터링하여 특정 Metrics를 생성 할 수 있다.
• Alarm (알람): Metric Filter를 통해 생성된 Metrics에 대해 경고 알람을 설정할 수 있다.
  
  • AWS 공식 문서: https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/MonitoringLogData.html

 

 

로그 인사이트 (Logs Insights)

쿼리 (Query): CloudWatch Logs Insights를 사용하여 로그 데이터를 쿼리하고 분석할 수 있다.

즉, 로그 데이터를 필터링하고 검색할 수 있다.

 

 

로그 보관 및 관리

• 보관: 로그 데이터를 장기 보관하기 위해 S3로 전송할 수 있다.
• 만료 설정: 로그 데이터의 보관 기간을 설정하여 자동으로 삭제되도록 할 수 있다.

 

 

 

 

참고자료)

• https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/WhatIsCloudWatchLogs.html