매일이 주말이라면 좋겠어 매일이 주말이라면 좋겠어

https://arxiv.org/pdf/2509.06806https://huggingface.co/MachineLearningLM/MachineLearningLM-7B-v1https://github.com/HaoAreYuDong/MachineLearningLM논문의 목적 / 문제의식기존 대형 언어 모델(LLMs)은 일반적인 지식, 추론 능력 등은 뛰어나지만, many-shot in-context learning (ICL), 즉 여러 개의 데모(예: 마치 학습을 하는 것처럼, 128, 512, 1024개의 예시를 주는 것)를 주는 상황에서 새 ML 태스크를 학습 없이 그냥 prompt만으로 잘 처리하는 능력이 약함. 여러 데모를 줘도 성능이 잘 늘지 않거나, 데모 순서, 예시 선택에 민감한 문제가 있음. ..

https://www.udemy.com/course/aws-sagemaker-complete-course-pytorch-tensorflow/?couponCode=LEADERSALE24B 업무상 AWS Sagemaker를 쓸 일이 있어서, Udemy에서 강의를 구매했다.간단하게 공부하며 정리할 예정이다. 내 리스닝 실력 부족 + 선생님의 인도계 억양 콤보로 챗지피티와 함께 학습을 진행하였다,,,😂배울것: - 세이지메이커의 ML 사이클- DS와 엔지니어에게 필요한, ML를 더 쉽게 적용할 수 있는 방법- 학습 테크닉(중요): 1. own docker container를 온프레미스에서 세이지메이커로 가져오기 2. 내가 만든 알고리즘을 로컬에서 세이지메이커로 가져오기3. pre-built된 알고리즘 - Sag..

해당 영상을 참조함 SageMaker 데이터: S3 알고리즘: ECR에 이미지(컨테이너?) 로 패키징 되어있음 🟡Training Request Sagemaker 관리 영역으로 데이터, 트레이닝 알고리즘 가져옴 → 파라미터 세팅 → 모델 아티팩트 생성 모델 아티팩트는 외부 스토리지로 export 🟡Inference 모델 아티팩트, 추론을 위한 라이브러리와 실행 환경이 담긴 컨테이너 필요 (EX) 24시간 API 요청을 처리하는 프로세싱을 처리한다면 → EndPoint 형태로 실행 (EX) 배치 작업으로 추론 후 배치 작업 결과를 파일로 쓴다면 → 추론 작업 후 리소스를 반납하는 형태로 구성 📌위의 구조를 코딩으로 해결한다면? SDK boto 3 sdk와 Sagemaker sdk가 있음 📌 Sagemaker..

데이터 전처리 by 스파크 EMR 기본적으로 Data Mart 에서 가져와서 전처리 하는 경우 시간 및 유효성, 정합성에 문제가 없다면 고려X IF 데이터셋이 크다면? OOM 문제 발생… Spark EMR 클러스터를 사용해 처리 가능 단계 EMR Notebook에서 대용량 파일 가져오기 EC2 인스턴스에서 데이터 전처리: 데이터가 EMR 노트북에 의해 로드된 후, Amazon EC2(Elastic Compute Cloud) 인스턴스에서 데이터 전처리 작업 S3에 Parquet 형식으로 데이터 저장: 전처리된 데이터는 최종적으로 Amazon S3(Simple Storage Service) 버킷에 Parquet 형식으로 저장 장점 다양한 데이터 소스 지원: S3, DynamoDB, RDS 등 AWS의 다양한..

Amazon Elastic Container Registry Docker 컨테이너 이미지를 저장하고 관리하는 서비스 Amazon ECR 시작 방법 Amazon ECR을 사용하여 설정 - Amazon ECR 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com AWS CLI에서 Amazon ECR 사용 - Amazon ECR 경우에 따라서는 ec2-user가 Docker 데몬에 액세스할 수 있는 권한을 제공하기 위해 인스턴스를 재부팅해야 할 수도 있습니다. 다음 오류가 표시될 경우 인스턴스를 재부팅합니다. Cannot connect to the D docs.aws..

개요 클라우드 컴퓨팅 플랫폼 컴퓨팅, 스토리지, 데이터베이스, 네트워킹, 분석 등 다양한 on-demand 클라우드 서비스를 제공 AWS AI 서비스 Comprehend : NLP 서비스 Lex : 자동 음성 인식 및 자연어 이해 Polly : 텍스트를 이용한 음성 합성 Rekognition: 사물 검출, 안면 인식 및 분석 Transcribe: 음성-텍스트 변환 Translate : 번역 서비스 AWS ML 서비스 SageMaker : 전체 ML 작업 흐름을 모두 지원하는 완전 관리형 서비스 AWS CLI 사용 $ aws configure AWS Access Key ID [****************ILVQ]: AWS Secret Access Key [****************BzKu]: Defa..

📌평점, 체류시간, 장바구니 여부,구매 여부, 사전 평가…, 등의 user ↔︎ item interaction score가 있을 때 사용 가능 → 해당 interaction이 없다면? 속성 유사도 기반 추천 기존 메트릭 Precision @ k , precision, recall 정답/ 오답이 있고, 예측값이 정답과 어느 정도의 비율로 일치하는 지를 계산 binary 분류 문제 MSE, MAE… 평점, 체류시간,… 등 binary 하지 않은 연속된 값을 예측할 때 사용 기존 메트릭의 한계 기존 정확도 지표는 정답과 예측값의 비율을 측정하므로, 순서 정보에 대한 가중치가 반영되지 않음 추천시스템에서는 얼마나 잘 맞추었는지가 중요함 (상대적 순서 중요) 추천 평가 메트릭 MRR (Mean Reciprocal..

요즘 심심할 때 Medium을 읽고 있는데, 요즘 매우 핫한 chatGPT 이야기가 Medium에서도 매우 뜨겁다. 나는 한달에 육천 원 내고 Medium을 구독중인데, 사실 지금까지 돈을 버리다가 ^_ㅜ 이제 좀 들어가서 띄엄 띄엄 읽고 있었는데...!! https://medium.com/artificial-corner/3-chatgpt-extensions-to-automate-your-life-ae4f66100262 3 ChatGPT Extensions to Automate Your Life ChatGPT on WhatsApp, Gmail, Google Sheets, your code editor, and more! artificialcorner.com 요 제목부터 흥미로운 아티클을 보게 되었음!! ..