클라우드(AWS)

AWS ArtifactAWS의 컴플라이언스 관련 보고서(보안 및 규정 준수 문서)를 요청 시(on-demand) 다운로드할 수 있는 서비스이다.→ 기업이 AWS의 보안 상태와 규정 준수 수준을 쉽게 이해하고 검증할 수 있도록 도와준다security and compliance document 📁 제공하는 문서 예시아래와 같은 국제 인증 및 컴플라이언스 보고서를 다운로드할 수 있다:ISO (국제표준화기구) – 시큐리티/보안 관리PCI DSS (신용카드 결제 관련 보안 표준)SOC 1 / SOC 2 / SOC 3 (서비스 조직 통제 보고서)Global Financial Services Regulatory Principles – 금융Quality Management System OverviewISV(Indep..

📌 머신러닝에서 Context window란?LLM(대형 언어 모델)이 한 번에 이해할 수 있는 입력(프롬프트) + 출력의 총 길이📌 프롬프트가 너무 길면 모델이 잘라내거나 에러 발생 → context window 크기 확인 필수 단위: 토큰(Token)어떤 모델의 context window가 4,000토큰이면 → 사용자 프롬프트 + AI 응답 합쳐서 4,000토큰까지만 다룰수 있다.예시: GPT-3.5 → 약 4,096 tokens,예시: Claude 3 → 최대 200,000 tokens 이상🧑‍💻 사용자 입력 (프롬프트):"오늘은 날씨가 참 좋아요. AI가 요즘 화제가 되고 있는데, 사람들이 많이 사용하고 있어요. 챗봇은 대화를 하고, 그림도 그리고, 글도 쓰고, 정말 다양한 일을 하죠."(..

Amazon OpenSearch Service – Vector SearchOpenSearch Service는 Vector Search (벡터 검색) 기능을 제공한다.이는 AI 및 머신러닝 기반 애플리케이션에서 유사한 데이터를 빠르게 검색할 수 있도록 도와주는 기능이다.특히 추천 시스템, 이미지 검색, 자연어 처리(NLP) 기반 검색 시스템 등에 많이 사용된다.✅ Vector Search란?일반적인 검색은 "단어" 중심의 키워드 검색 (Keyword Search)이다.벡터 검색은 데이터를 vector화(숫자 배열)하여 "비슷한 의미"를 가진 데이터를 검색한다.예시:“강아지”라는 단어와 의미적으로 비슷한 단어들(예: 애완동물, 반려견)을 찾는 데 사용됨.vector 예시"고양이" → [0.12, -0.53,..

Bedrock의 FM을 fine-tuning 하는 법파인튜닝(fine tune)은 이미 학습된 Foundation Model(FM)에 자신의 회사 데이터를 추가로 학습시켜, 더 자신의 회사에 맞는 정확한 모델로 만드는 과정이다. ✅ Bedrock에서 FM 파인튜닝하는 기본 단계 단계 설명 1️⃣ 데이터 준비(JSONL 형식으로 저장)프롬프트(prompt)와 응답(completion)이 포함된 라벨화된 데이터를 준비한다.이 데이터들을 .jsonl (JSON Lines) 형식으로 저장한다.예시: { "prompt": "고객이 배송 지연을 문의할 때", "completion": "사과하고 예상 배송일 안내" }2️⃣ S3에 업로드.jsonl 파일을 Amazon S3 버킷에 업로드3️⃣ 콘솔에서 파인튜닝 시작A..

Linear Regression📈 선형 회귀 모델 평가 지표지도 학습(Supervised Learning) 방식 중 하나인 선형 회귀 모델 🧮 Mean Squared Error (MSE)"예측 값"과 "실제 값" 사이의 차이(오차)를 제곱해서 평균낸 값이다.yₖ: 실제 값 (ground truth)ŷₖ: 예측 값 (predicted value)n: 데이터 포인트 수 (number of data points)MSE 값이 작을수록 모델의 예측이 정확하다고 판단할 수 있다.MSE 값 예시 🔢설명0✅ 매우 우수: 예측이 실제랑 완벽히 같을 때0.1 ~ 2👍 좋음: 약간의 오차만 있을 때5 ~ 20오차가 꽤 클 때50 이상 예측이 실제랑 거의 다를 때 📏 Root Mean Squared Error (RM..

모델 유형 (Embedding Model)모델 예시설명📝 Text-onlyGPT, BERT, RoBERTa텍스트 생성, 이해, 요약, 번역 등🖼️ Vision-onlyResNet, ViT이미지 분류, 객체 인식 등🔊 Speech-onlyWhisper, DeepSpeech음성 인식, 음성 합성 등🧩 Multi-modalCLIP, GPT-4V, Flamingo텍스트 + 이미지/음성 동시 처리🌐 Graph-basedGCN, GAT, GraphSAGE관계형 데이터 분석 (소셜, 추천 등) 📌 Multi-modal Embedding Model란?다양한 종류의 데이터(예: 텍스트, 이미지, 오디오 등)를 입력으로 받을 수 있는 모델이에요.(데이터 종류 상관없이 embedding 할 수 있다)예시: Cha..

📌 Average Response Time (평균 응답 시간)사용자가 입력을 주었을 때, AI 모델이 결과를 반환할 때까지 걸리는 평균 시간이다.사용 예시:실시간 시스템 (예: 챗봇, 자동 응답 시스템, 음성 비서 등)인터랙티브 웹 서비스 (예: 추천 시스템, 검색엔진)모바일 애플리케이션 (예: 이미지 인식, AR 응용 프로그램)중요성:응답 시간이 길면 사용자 경험이 나빠지고, 시스템 성능이 떨어진다고 인식된다.기업 서비스의 경우, 응답 지연은 수익 손실이나 사용자 이탈로 이어질 수 있다. 🤔 문제AI 모델을 운영하는 동안의 실행 효율성(runtime efficiency) 을 측정하는 지표는 무엇인가요?고객 만족도 점수 (CSAT, Customer satisfaction score)각 에폭(epoch..

📌 모델 학습(Training)이란?머신러닝 모델은 데이터를 통해 반복적으로 학습한다.이 과정에서 가중치(Weights)라는 값을 조정한다 → 이 가중치가 바로 모델이 학습한 내용이다.모델은 가중치를 계속 조정하여 예측 결과를 정답에 가깝게 만든다.🔁 반복 학습 (Iterative Training)한 번만 학습해서는 정답을 맞추기 어려우므로, 수백~수천 번 반복하면서 오류(Error)를 줄이는 방향으로 가중치를 바꾼다. 🔧 하이퍼파라미터 튜닝 (Hyperparameter Tuning)📌 하이퍼파라미터(Hyperparameter)란?머신 러닝 모델의 구조나 학습 방식을 정하는 외부 설정 값이다.학습률 (Learning rate)에폭 수 (Epochs)미니배치 크기 (Batch size)신경망 레이..