항상 엔진을 켜둘게🚀 항상 엔진을 켜둘게🚀

https://www.udemy.com/course/aws-sagemaker-complete-course-pytorch-tensorflow/?couponCode=LEADERSALE24B 업무상 AWS Sagemaker를 쓸 일이 있어서, Udemy에서 강의를 구매했다.간단하게 공부하며 정리할 예정이다. 내 리스닝 실력 부족 + 선생님의 인도계 억양 콤보로 챗지피티와 함께 학습을 진행하였다,,,😂배울것: - 세이지메이커의 ML 사이클- DS와 엔지니어에게 필요한, ML를 더 쉽게 적용할 수 있는 방법- 학습 테크닉(중요): 1. own docker container를 온프레미스에서 세이지메이커로 가져오기 2. 내가 만든 알고리즘을 로컬에서 세이지메이커로 가져오기3. pre-built된 알고리즘 - Sag..

해당 영상을 참조함 SageMaker 데이터: S3 알고리즘: ECR에 이미지(컨테이너?) 로 패키징 되어있음 🟡Training Request Sagemaker 관리 영역으로 데이터, 트레이닝 알고리즘 가져옴 → 파라미터 세팅 → 모델 아티팩트 생성 모델 아티팩트는 외부 스토리지로 export 🟡Inference 모델 아티팩트, 추론을 위한 라이브러리와 실행 환경이 담긴 컨테이너 필요 (EX) 24시간 API 요청을 처리하는 프로세싱을 처리한다면 → EndPoint 형태로 실행 (EX) 배치 작업으로 추론 후 배치 작업 결과를 파일로 쓴다면 → 추론 작업 후 리소스를 반납하는 형태로 구성 📌위의 구조를 코딩으로 해결한다면? SDK boto 3 sdk와 Sagemaker sdk가 있음 📌 Sagemaker..

데이터 전처리 by 스파크 EMR 기본적으로 Data Mart 에서 가져와서 전처리 하는 경우 시간 및 유효성, 정합성에 문제가 없다면 고려X IF 데이터셋이 크다면? OOM 문제 발생… Spark EMR 클러스터를 사용해 처리 가능 단계 EMR Notebook에서 대용량 파일 가져오기 EC2 인스턴스에서 데이터 전처리: 데이터가 EMR 노트북에 의해 로드된 후, Amazon EC2(Elastic Compute Cloud) 인스턴스에서 데이터 전처리 작업 S3에 Parquet 형식으로 데이터 저장: 전처리된 데이터는 최종적으로 Amazon S3(Simple Storage Service) 버킷에 Parquet 형식으로 저장 장점 다양한 데이터 소스 지원: S3, DynamoDB, RDS 등 AWS의 다양한..