클라우드(AWS)/AIF-C01

RAG (Retrieval-Augmented Generation)👉 뜻 그대로 해석하기Retrieval (검색): 정보를 찾아오기Augmented (보강된): 강화된, 보완된Generation (생성): 답변을 만들어내기AI가 정보를 찾아와서 보완한 뒤에 답변을 만들어내는 기술이다.AI한테 질문할 때마다, 실시간으로 외부 데이터(지식 베이스:Knowledge Base)를 가져와서 참조시킨다. LLM (대형 언어 모델) 기반 AI에서 사용된다.LLM 모델설명OpenAI GPT-4ChatGPT에 쓰이는 모델Amazon TitanAWS의 LLMAnthropic Claude대화형 AI 모델Google Gemini구글의 AI 모델 📌 RAG 필요한 이유기존의 GPT와 같은 AI 모델은 학습한 지식만 사용해서 ..

🧠 기본적인 머신러닝 용어 정리 ✅ Inference (추론)이미 학습된 머신러닝 모델에 실제 새로운 데이터를 입력해서 예측(분석)하는 것을 말한다.예시: ChatGPT에게 사진을 입력하여, 지브리 사진 만들어달라고 요청하기 ✅ Overfitting (과적합, 오버피팅)머신러닝 모델이 훈련(training) 데이터에는 제대로 작동하지만, 새로운 데이터에는 성능이 떨어지는 경우.훈련 데이터실제 데이터✅❌ 📌 주된 이유: 훈련 데이터에 있는 불필요한 특징(noise:노이즈)까지 학습해서, 다른 데이터에서는 제대로 인식하지 못한다. 📌 해결 방법:더 다양한 데이터로 훈련시키기같은 데이터로 너무 오래 훈련시키지 않기​​​✅ Underfitting (과소적합, 언더피팅)머신러닝 모델이 훈련 데이터에도, 새..

🧠 딥러닝(Deep Learning)머신러닝의 한 종류이다인간의 뇌 구조와 같은 방식을 컴퓨터에게 적용시켜 학습시키는 방식이다.특히 뇌 속의 뉴런처럼, 딥러닝에서는 노드(Node)라는 구조를 만들어서 인공 신경망(Neural Network)을 사용해 학습한다. ✅ 딥러닝 모델의 구조입력층(input layer) → 여러 개의 은닉층(hidden layers) → 출력층(output layer)으로 구성각 노드는 입력값에 가중치(weight)를 곱해서 정보를 전달예측 결과와 실제 값의 차이를 계산해서, 그 오차를 줄이도록 가중치를 반복적으로 조정함 참고) Feedforward Neural Network(FNN) (순방향 신경망)여러개의 유닛으로 구성된 레이어가 다중으로 존재한 구조. 일정 방향으로 정보가..

🔧머신러닝 모델 훈련(training)을 끝낸 후에 할 작업들:– 추론,예측 (inference)– 배포 (deploy) 🧱 Model Artifacts (모델 아티팩트)머신러닝 모델을 훈련시키면 (output) 결과로써 Model Artifacts(모델 아티팩트)라는게 생성된다.Model Artifacts는 모델이 학습을 통해 얻은 핵심 정보들을 저장한 파일이다.그리고 이는 학습된 모델이 예측(inference)을 할 수 있도록 준비된 형태의 데이터라고 보면 된다.대부분의 머신러닝 모델은 Model Artifacts를 model.tar.gz 형태로 압축되어 저장한다.✅ model.tar.gz 파일은 예측할 때 사용하기 때문에 어디에 저장했는지 잘 알아야한다. ✅ Model Artifacts에 ..

📂 데이터 유형정형 데이터 (Structured Data)반정형 데이터 (Semi-structured Data)비정형 데이터 (Unstructured Data) Structured Data (구조화된 데이터)명확한 특정 구조을 가지고 있는 데이터.주로 테이블 형식으로 정리된 데이터이다.예시: CSV 파일, SQL 파일  Semi-structured Data (반구조화 데이터)어느 정도 일정한 구조는 있지만, 고정된 테이블 구조가 아닌 데이터즉, 정형 데이터와 비정형 데이터의 중간 형태이다.예시: JSON 파일{ "name": "홍길동", "age": 30, "skills": ["Python", "AWS"]}예시: XML 파일 홍길동 30  Unstructured Data (비구조화 데이터) 고..

🤖 대표적인 머신러닝 종류🔵 Supervised Learning (교사있는 학습)🔶 Unsupervised Learning (교사없는 학습)🟢 Intermediate Learning (중간 학습) 🧠 요약 정리학습 유형문제 유형예시지도 학습분류 (이진/다중)이메일 스팸 여부, 암 유무, 문서 주제 분류지도 학습회귀집값 예측, 키 예측비지도 학습군집화고객 세그먼트, 웹 클릭 패턴비지도 학습이상 탐지센서 오류, 사기 거래 탐지🔵 1. 지도 학습 (Supervised Learning)입력(input) 데이터에 정답(label, 라벨)이 같이 있는 데이터를 사용한다. 예시1: 물고기 사진에 "물고기"라는 라벨이 붙여있다.예시2: 돌고래 사진에 "물고기 아님"이라는 라벨이 붙여있다.(이를 통해 사진을 ..

Amazon QAWS의 AI 도우미이다.AWS Console 안에서 직접 질문하고 도움받을 수 있는 도구이다.AWS에서 모르는 게 있으면 Amazon Q에게 물어보면 된다.오른쪽에 저 아이콘을 누르면 나온다. (AWS용 챗봇이다)   Amazon Q DeveloperAWS의 개발자용 AI 도우미이다. AWS 개발할 때 도와주는 챗봇 + 코드 생성기라고 생각하면 된다. Amazon Q Developer는 IDE 플러그인으로 사용하여, Visual Studio Code으로 확장 프로그램 설치하여 사용한다.이를 통해 코드 생성, 코드 설명, 디버깅, AWS SDK 코드 작성 등을 할 수 있다. (AWS용 coplioit이다)

특징SLMLLM Small Language ModelLarge Language Model⚙️매개변수 (parameter)수백만 개 이하수십억~수천억 개📈성능특정 작업에 초점을 둔다(예: 문서 분류, 간단한 자연어 처리).복잡한 작업에서 우수한 성능 제공.(문맥 이해, 텍스트 생성, 번역 등)💰비용 (cost) 낮은 계산 자원과 메모리 요구 사항높은 계산 자원과 GPU/TPU 메모리 필요  SLM (Small Language Model)작은 규모의 언어 모델로, 주로 경량화되어 빠른 응답 속도와 낮은 리소스 사용량이 특징이다.보통 엣지 디바이스(edge device) 또는 특정 도메인에 최적화된 모델로 사용된다. SLM 예시DistilBERT: BERT의 경량화 버전 (약 40% 적은 파라미터, 속도는..