[AWS] Feature Engineering란? 쉽게 정리

 

Feature Engineering

머신러닝 모델에 입력될 데이터를 전처리(data preprocessing)하고, 새로운 feature를 생성하거나,불필요한 feature를 제거하는 작업이다.

= raw data를 feature로 전환시키는 작업

 

예시:텍스트에서 단어 수를 추출

예시: 날짜를 "요일", "월", "계절"로 변환

https://www.databricks.com/kr/glossary/feature-engineering

 

📌 Feature selection

데이터에 있는 여러 속성(특성, 변수) 중에서, 정말 모델에 도움이 되는 것들만 골라내는 과정

 

 

https://aws.amazon.com/blogs/machine-learning/extend-amazon-sagemaker-pipelines-to-include-custom-steps-using-callback-steps/

 

🧠 SageMaker Pipelines의 Processing Step

👉 SageMaker에서는 이러한 작업을 Processing Step에서 처리하면 된다.

다양한 프로세서 실행 가능 (파이썬 스크립트나 스파크 작업 사용 가능)

• SKLearnProcessor
• ScriptProcessor
• SparkProcessor