항상 엔진을 켜둘게🚀 항상 엔진을 켜둘게🚀

https://www.udemy.com/course/aws-sagemaker-complete-course-pytorch-tensorflow/?couponCode=LEADERSALE24B 업무상 AWS Sagemaker를 쓸 일이 있어서, Udemy에서 강의를 구매했다.간단하게 공부하며 정리할 예정이다. 내 리스닝 실력 부족 + 선생님의 인도계 억양 콤보로 챗지피티와 함께 학습을 진행하였다,,,😂배울것: - 세이지메이커의 ML 사이클- DS와 엔지니어에게 필요한, ML를 더 쉽게 적용할 수 있는 방법- 학습 테크닉(중요): 1. own docker container를 온프레미스에서 세이지메이커로 가져오기 2. 내가 만든 알고리즘을 로컬에서 세이지메이커로 가져오기3. pre-built된 알고리즘 - Sag..

해당 영상을 참조함 SageMaker 데이터: S3 알고리즘: ECR에 이미지(컨테이너?) 로 패키징 되어있음 🟡Training Request Sagemaker 관리 영역으로 데이터, 트레이닝 알고리즘 가져옴 → 파라미터 세팅 → 모델 아티팩트 생성 모델 아티팩트는 외부 스토리지로 export 🟡Inference 모델 아티팩트, 추론을 위한 라이브러리와 실행 환경이 담긴 컨테이너 필요 (EX) 24시간 API 요청을 처리하는 프로세싱을 처리한다면 → EndPoint 형태로 실행 (EX) 배치 작업으로 추론 후 배치 작업 결과를 파일로 쓴다면 → 추론 작업 후 리소스를 반납하는 형태로 구성 📌위의 구조를 코딩으로 해결한다면? SDK boto 3 sdk와 Sagemaker sdk가 있음 📌 Sagemaker..

데이터 전처리 by 스파크 EMR 기본적으로 Data Mart 에서 가져와서 전처리 하는 경우 시간 및 유효성, 정합성에 문제가 없다면 고려X IF 데이터셋이 크다면? OOM 문제 발생… Spark EMR 클러스터를 사용해 처리 가능 단계 EMR Notebook에서 대용량 파일 가져오기 EC2 인스턴스에서 데이터 전처리: 데이터가 EMR 노트북에 의해 로드된 후, Amazon EC2(Elastic Compute Cloud) 인스턴스에서 데이터 전처리 작업 S3에 Parquet 형식으로 데이터 저장: 전처리된 데이터는 최종적으로 Amazon S3(Simple Storage Service) 버킷에 Parquet 형식으로 저장 장점 다양한 데이터 소스 지원: S3, DynamoDB, RDS 등 AWS의 다양한..

Amazon Elastic Container Registry Docker 컨테이너 이미지를 저장하고 관리하는 서비스 Amazon ECR 시작 방법 Amazon ECR을 사용하여 설정 - Amazon ECR 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com AWS CLI에서 Amazon ECR 사용 - Amazon ECR 경우에 따라서는 ec2-user가 Docker 데몬에 액세스할 수 있는 권한을 제공하기 위해 인스턴스를 재부팅해야 할 수도 있습니다. 다음 오류가 표시될 경우 인스턴스를 재부팅합니다. Cannot connect to the D docs.aws..

개요 클라우드 컴퓨팅 플랫폼 컴퓨팅, 스토리지, 데이터베이스, 네트워킹, 분석 등 다양한 on-demand 클라우드 서비스를 제공 AWS AI 서비스 Comprehend : NLP 서비스 Lex : 자동 음성 인식 및 자연어 이해 Polly : 텍스트를 이용한 음성 합성 Rekognition: 사물 검출, 안면 인식 및 분석 Transcribe: 음성-텍스트 변환 Translate : 번역 서비스 AWS ML 서비스 SageMaker : 전체 ML 작업 흐름을 모두 지원하는 완전 관리형 서비스 AWS CLI 사용 $ aws configure AWS Access Key ID [****************ILVQ]: AWS Secret Access Key [****************BzKu]: Defa..