분류 전체보기

오라클 (Oracle)오라클에 대한 정리: https://www.youtube.com/watch?v=cc1Ypi7tY5Y&feature=youtu.be 래리 엘리슨 (Larry Ellison)오라클의 창업자, 현재는 오라클의 회장을 맡고 있다.전 세계 2등 부자 (11월 28일 기준)오라클 주식 보유률: 약 40% 이상 (최대 주주)출생일: 1944년 8월 17일 (현재 나이: 만 81세) Oracle Database (오라클 데이터베이스)세계 최초의 RDBMS(관계형 데이터베이스 관리 시스템): 1979년, IBM의 이론을 바탕으로 탄생압도적인 시장 점유율: 수십 년 동안 전 세계 데이터베이스 시장에서 1위금융기관과 같은 단 1초의 오류도 허용되지 않는 '미션 크리티컬'한 서비스에서 안정성과 보안성..

Glue Workflows (orchestration)Glue Job(ETL Job), Crawler, Trigger 등 순서를 정의하면, 워크플로우대로 자동 실행 해준다즉, ETL 작업이 여러 단계로 구성되어 있을 때 아주 유용하다 예시:원본 데이터를 S3에서 읽어서 정제하는 Job정제된 데이터를 분석용 포맷으로 변환하는 Job변환된 데이터를 Redshift나 S3로 적재하는 Job Glue의 워크플로우(Job/Crawler)를 가시화(visualize) 할 수 있다 🤔 문제 한 회사가 AWS Glue를 사용해서 ETL(Extract, Transform, Load) 데이터 파이프라인을 만들었습니다.데이터 엔지니어는 Microsoft SQL Server에 있는 테이블을 크롤링(crawl) 해야 합니다..

Data Mesh전통적인 중앙 집중형 데이터 아키텍처 = Data Warehouse, Data Lake (전통적인 방식과 다르게)Data Mesh는 도메인 단위로 데이터 소유권과 책임을 분산시키는 데이터 아키텍쳐 등장 시기📦 Data Warehouse : 1980년대 후반🏞️ Data Lake (DL) : 2010년대 초🌐 Data Mesh : 2019년 참고 자료: https://aws.amazon.com/what-is/data-mesh/ 데이터 메시란 무엇인가요? - 데이터 메시 아키텍처 설명 - AWS조직들은 끝없이 증가하는 데이터 볼륨에 액세스할 수 있지만, 실질적인 이점을 얻기 위해서는 데이터를 정렬, 필터링, 처리 및 분석해야 합니다. 조직에서는 중앙의 엔지니어 및 과학자 팀을aws.a..

AWS Data Exchange란?서드 파티(third party)에서 제공하는 데이터를 구독(subscribe)하여 주로 AWS S3를 통해 자동 전송 받아 사용한다.외부 데이터셋을 무료/유료 구독하여 사용할 수 있는 서비스 Subscriber (데이터 구독자)Provider (데이터 제공자)데이터만 있다면 누구나 데이터 제공자(Provider)가 될 수 있음 (판매하거나 무료로 공유) 🏢 서드 파티(Third-party) 대표 예시데이터 제공자 (provider)📰 Reuters – 금융 뉴스, 시장 데이터📍 Foursquare – 위치 기반 데이터, 매장 방문 기록🎬 IMDb – 영화·TV 프로그램 정보, 리뷰, 평점🏥 Change Healthcare – 의료 청구·통계 데이터🛢️ V..

Prerequisite테라폼(Terraform) 설치 > https://developer.hashicorp.com/terraform/installAWS 계정 만들기 > https://aws.amazon.com/free/AWS CLI 설치 > https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html 1. AWS Credential (자격 증명) 준비하기IAM User 생성하기IAM User 만드는거 자체는 무료 Root 계정은 사용 ❌ (root는 항상 위험하니 최대한 사용 노노하기) AWS Console:IAM → Users → Create user → Access key 발급User name 선택Attach poli..

일본 → 태국금요일에 퇴근하고 바로 나리타 공항으로 향했다.나리타 공항에서 저녁 비행기를 타고 돈므앙 공항으로 향했다.태국가는 일본인 되게 많았다! 역시 일본 사람들은 태국을 좋아하는듯 일본에서 태국까지 의외로 오래걸려서 살짝 힘듦..... 돔므앙 공항 도착새벽에 도착해서 상당히 힘들었당 (졸려)새벽시간이라 입국심사 금방 나왔다. 돔므앙 공항 → 12 더 레지던스 호텔돔므앙 공항에서 12 더 레지던스 호텔까지 거리상으로 가까운데, 캐리어 들고 걸어가기에는 살짝 애매하다.점심이였으면 걸어갈만하긴한데 밤이고 엄청 로컬지역이라 무서워서 그랩탔다.근데 택시타면 진짜 엄청 뺑 돌아감걸어서 30분 거리인데 택시타도 30분 거리..... "> 12 더 레지던스 호텔 (12 The Residence Hotel ..

참고: https://jibinary.tistory.com/833 [AWS] Glue란? ETL 서비스 아주 쉽게 정리 (Crawler, Data Catalog, Job)AWS Glue란?(AWS Managed) Serverless의 ETL(Extract, Transform, Load) 서비스이다.AWS Glue는 ETL 서비스로서 대규모 데이터 처리에 효과적이다. AWS Glue 특징 정리🔢 ETL(Extract, Transform, Load) 서비스특히 대량의 데이jibinary.tistory.com Glue Job (잡) = ETL JobGlue Job = ETL 수행 Glue에서 데이터를 읽고(Extract), 변환(Transform)하며, 다시 저장(Load)하는 ETL 작업 단위Data..

AWS Glue란?(AWS Managed) Serverless의 ETL(Extract, Transform, Load) 서비스이다.AWS Glue는 ETL 서비스로서 대규모 데이터 처리에 효과적이다. AWS Glue 특징 정리🔢 ETL(Extract, Transform, Load) 서비스특히 대량의 데이터를 사용하는 빅데이터, 기계 학습(ML)등에 적합한 ETL 서비스이다.☁️ Serverless 서비스서버리스 서비스이기 때문에 운영 부담이 줄어들고, 데이터를 쉽고 빠르게 전처리할 수 있다. 개발자는 인프라 설정과 관리 부담에서 벗어나 데이터 처리에 집중할 수 있다.🔗 다른 서비스와 연동기본적으로 Glue을 통해 데이터를 데이터 레이크(예: S3)나 데이터 웨어하우스(예: Redshift)로 이동시킨..