항상 엔진을 켜둘게🚀 항상 엔진을 켜둘게🚀

https://www.youtube.com/watch?v=5QnR4L3KGz4&list=PLpIPLT0Pf7IqSuMx237SHRdLd5ZA4AQwd&index=7 김성범 교수님 강의를 참고하였음!! Modeling Seasonal Variations Binary Variable Models 계절 변수는 어떻게 표현해? 이진 변수(0 or 1) 로 표현해! 그래프를 그렸을 때 변동이 증가하고 있었기 때문에 y에 ln을 취함.(상수로 바꿔준다) 12월은 굳이 더미로 만들 필요 없음(당연, 다 0이면 되니까) 베타2는 기준인 12월과 비교했을때 얼마나 증가/감소 했느냐에 대한 값. 적합해 봄! time변수는 증가하는 trend임을 알 수 있음. month beta 값들은? 12월에 비해 저만큼 증가하거나 감..

https://www.youtube.com/watch?v=pxG4ZlHJ570&list=PLpIPLT0Pf7IqSuMx237SHRdLd5ZA4AQwd&index=6 김성범 교수님의 강의를 참고&요약 하였다! 시간에 따른 y는 다음과 같이 나타낼 수 있다. $$y_t=TR_t +\epsilon_t$$ $TR_t$ : t시점의 트렌드, 트렌드는 상수(no trend), linear, quadratic 등으로 나타낼 수 있음! $\epsilon_t$: t시점에서 트렌드로 나타낼수 없는 오차 자세한 수식은 생략하고... 간단하다. Linear Trend Model의 경우 시간(t) 하나를 X로 쓰는 것. Qudratic은 t, t의 제곱까지 X로 해서 다중회귀를 푸는 것! 그러나 (다들 알겠지만??) 시계열 데..

https://stackoverflow.com/questions/34277239/importing-csv-file-into-hadoop Importing CSV file into Hadoop I am new with Hadoop, I have a file to import into hadoop via command line (I access the machine through SSH) How can I import the file in hadoop? How can I check afterward (command)? stackoverflow.com 데이터 확인 $ ls -al /mnt/shopping20y1h/shopping $ find /mnt/shopping20y1h -type f | wc -l $ d..

https://guide-fin.ncloud-docs.com/release-20211221/docs/hadoop-vpc-use-ex11 Hive External Table로 CSV파일 연동하기 - Cloud Hadoop 활용하기 guide-fin.ncloud-docs.com Hive External Table이란? Hive에서 테이블 생성시, External 키워드로 생성하는 테이블을 가리킵니다. Hive External Table(‘외부 테이블’) 은 hive.metastore.warehouse.dir 속성이 가리키는 디렉토리에 데이터를 저장하지 않으며, 테이블 생성시 설정한 경로에 데이터를 저장합니다. 이미 하둡에 있는 데이터를 기반으로 테이블을 만들기 때문에 스키마만 정해주면 생성할 수 있습니다. ..

빅쿼리는 다양한 형식의 데이터세트 수집 가능. 기본 저장소에 들어가면 빅쿼리에서 데이터 관리 가능하고, 최근에 삭제된 테이블도 복구 가능. 지속적으로 업데이트되는 외부 데이터를 쿼리할 수도 있지만, 이렇게 하지 않는것을 추천: 일단 업데이트를 실제로 빅쿼리에서 바꿨는지가 보장이 안됨. 이게 걱정된다면, Cloud DataFlow를 사용하여 빅쿼리에 스트리밍 데이터 파이프라인 구축을 고려할 수 있음 (

https://github.com/rickiepark/handson-ml2/blob/master/12_custom_models_and_training_with_tensorflow.ipynb GitHub - rickiepark/handson-ml2: 핸즈온 머신러닝 2/E의 주피터 노트북 핸즈온 머신러닝 2/E의 주피터 노트북. Contribute to rickiepark/handson-ml2 development by creating an account on GitHub. github.com 답안은 여기를 참고하였다! 정말 어렵지만 내맘대로 커스텀한 모델을 짜기 위해선 필수적이니 꼭 알아두도록 하자. 절대 첫 번째에 익숙해지지 않으니 보고 또 볼 것! 12. 사용자 정의 모델과 훈련 알고리즘 1. 사용자..

'핸즈온 완독'프로젝트 2탄! https://book.naver.com/bookdb/book_detail.nhn?bid=16328592 핸즈온 머신러닝 머신러닝 전문가로 이끄는 최고의 실전 지침서 텐서플로 2.0을 반영한 풀컬러 개정판 『핸즈온 머신러닝』은 지능형 시스템을 구축하려면 반드시 알아야 할 머신러닝, 딥러닝 분야 핵심 개념과 book.naver.com 11장은 MLP에서 좀 더 심층으로 갔을 때 속도나 성능을 향상시키는 방법을 다루고 있다. 문제를 풀면서 내가 이해한 것들, 모르는 것들을 기록하려고 한다. 정답 코드는 여기에! https://github.com/rickiepark/handson-ml2/blob/master/11_training_deep_neural_networks.ipynb G..

신년 목표로 '핸즈온 머신러닝' 책을 완독하기로 결심했다. https://book.naver.com/bookdb/book_detail.nhn?bid=16328592 핸즈온 머신러닝 컬러판으로 돌아온 아마존 인공지능 분야 부동의 1위 도서이 책은 지능형 시스템을 구축하려면 반드시 알아야 할 머신러닝, 딥러닝 분야 핵심 개념과 이론을 이해하기 쉽게 설명한다. 사이킷런, book.naver.com 엄청나게 두껍다! 전에 보던 '머신러닝 완벽 가이드'보다 더 깊고 방대한 내용을 담고 있다. 이제 겨우 1장 끝냈지만... 천리 길도 한 걸음부터! 이니깐 열심히 해봐야지. 해당 책은 연습문제에서 한 문제 정도를 코딩을 직접 해 볼수 있도록 하고 있다. 같이 풀어보자! 10. 심층 다층 퍼셉트론을 MNIST 데이터셋..