항상 엔진을 켜둘게🚀 항상 엔진을 켜둘게🚀

15.4 긴 시퀀스 다루기 굉장히 긴 시퀀스로 RNN을 훈련하려면, 펼친 RNN이 매우 긴 네트워크가 됨. 그레이디언트 소실과 폭주 문제가 있을 수 있고, 훈련에 긴 시간이 걸리거나 훈련이 불안정할 수 있음. 또한 입력의 첫 부분을 조금씩 잊어버릴 것임. 15.4.1 불안정한 그레이디언트 문제와 싸우기 전에 배웠던 것처럼, 해당 문제를 완화하기 위한 방법을 RNN에서도 사용할 수 있음. 가중치 초기화 드롭아웃 등... 수렴하지 않는 Relu(Leaky Relu 등..) 은 도움이 되지 않음! 사실 더 RNN이 불안정해짐... 왜? 만약 출력을 증가시키는 방향으로 가중치가 업데이트 된다면? 타임 스텝마다 출력이 증가-> 결국은 출력이 폭주하게 됨. 수렴하지 않는 활성화 함수는 이를 막지 못하므로, RNN에..

어느덧 15과다! 저번 주는 일이 너무 바빠서.. 공부를 하긴 했지만 블로그에 정리를 하지 못했다. 그래도 꾸준히 어찌저찌 공부하고 있는 내가 자랑스러움!! ㅎㅎ 계속 가보자!! 💨💨💨 15.1 순환 뉴런과 순환 층 지금까지는 피드포워드 신경망만 배웠지만, RNN은 다르다. 가장 간단한 RNN을 살펴보자. 각 타임스텝 t 마다 순환 뉴런은 x(t)와 이전 타임 스텝의 출력인 y(t)를 입력으로 받음. 오른쪽 그림은 시간에 따라 네트워크를 펼친 것으로, 동일한 뉴런을 타임 스텝마다 하나씩 표현한 것. y(t)은 결국 t=0에서부터 모든 입력에 대한 함수가 됨.(x(0),x(1),...,x(t)) 15.1.1 메모리 셀 y(t)는 이전 타임스텝의 모든 입력에 대한 함수이므로 이를 일종의 메모리 형태라고 할 ..

컨텐츠스퀘어 Contentsqare - 고객 여정 워크샵 GA, AA 보다 풍부한 인사이트를 제공 흠 일단 솔루션 홍보인 것 같긴 한데? 넘 신기! 이렇게 많은 툴이 있는지 몰랐다 회원 가입 절차에서 에러 때문에 전환율이 하락.... 입력을 안하고 계속 버튼을 눌럿는데 에러가 안뜨고 리로딩이 되어서 이탈... ->알람을 주는 방식으로 해결 초반의 허접(?)한 디자인 전환율=클릭하고 구매한 사람/ 한번이라도 클릭한 사람 영역 zoneing-> 마우스 추적-> 바로 페이지를 대시보드화(ga등에서 데이터 끌어옴) -> 영역별 노출율 계산해줌 영역별 클릭률도 가능 고객 여정 분석(차트화)

어느덧 14과까지 왔다~! 아직 6과나 더 남긴했지만...ㅋㅋㅋ 그래도 1월달에 앞부분 깔짝거리다가 그만 뒀었는데 14화까지 왔네 어떻게 .... ㅋㅋㅋ ㅠㅠ 앞으로 6주만 더 힘내자!! 😍 합성곱 신경망(CNN)은 음성 인식이나 자연어 처리, 이미지 분야에서 많이 사용됨! 여기서는 이미지 애플리케이션에 초점을 맞출 것임! 사실 밑에 이러쿵 저러쿵 책의 내용을 요약해놨지만 책이 너무 어렵게 설명함... https://wikidocs.net/64066 1) 합성곱 신경망(Convolution Neural Network) 합성곱 신경망(Convolutional Neural Network)은 이미지 처리에 탁월한 성능을 보이는 신경망입니다. 하지만 합성곱 신경망으로 텍스트 처리를 하기 위한 시 ... wiki..

코드는 여기를 참고하였다. https://github.com/rickiepark/handson-ml2/blob/master/13_loading_and_preprocessing_data.ipynb GitHub - rickiepark/handson-ml2: 핸즈온 머신러닝 2/E의 주피터 노트북 핸즈온 머신러닝 2/E의 주피터 노트북. Contribute to rickiepark/handson-ml2 development by creating an account on GitHub. github.com 9. 10장에서 소개한 패션 MNIST 데이터셋을 적재하고 훈련 세트, 검증세트, 테스트 세트로 나눕니다. 훈련 세트를 섞은 다음 각 데이터셋을 TFRecord 파일로 저장합니다. 각 레코드는 두 개의 특성을 ..

13.2 TFRecord 포맷 csv 형식으로는 이미지나 오디오 같은 데이터 구조를 지원하지 못함. 이 대신 TFRecord를 사용하는 방법을 알아보자. 대용량 데이터를 저장하고 효율적으로 읽기 위해 텐서플로가 선호하는 포맷. 크기가 다른 연속된 이진 레코드를 저장하는 단순한 이진 포맷이다(

공부하려고 앉았다가 1시간을 웹서핑했다😂 정신차리자! 다른 말인데 유기견, 유기묘 사진을 요즘 보고 있는데 너무 귀엽고 불쌍하다... 사정만 된다면 한 마리 데려와서 키우고 싶은데 사실 내가 1인 가구이기도 하고 집도 돈도 없으니...(주륵) 모두에게 못할짓.. 나중에 경제적으로 주거적으로 안정적이 된다면 꼭 친구 한마리를 데려와서 같이 살고 싶다! 메모리 용량에 맞지 않는 아주 큰 규모의 데이터셋으로 딥러닝 시스템을 훈련해야 한다면? 대용량 데이터는 정규화처럼 데이터 전처리가 필요한데 인코딩을 해야 한다면?-> 사용자 정의 전처리 층을 만들거나, 케라스에서 제공하는 표준 전처리 층을 사용하면 됨 13.1 데이터 API 메모리에서 전체 데이터셋을 생성해볼수 있음. 이렇게 10개의 원소가 있는 텐서를 받아..

12. 층 정규화(layer normalization)을 수행하는 사용자 정의 층을 구현하세요. a. build() 메서드에서 두 개의 훈련 가능한 가중치 a와 b를 정의합니다. 두 가중치 모두 크기가 input_shape[-1:]이고 데이터 타입은 tf..float32 입니다. a는 1로 초기화되고 b는 0으로 초기화되어야 합니다. b. call()메서드에서는 샘플의 특성마다 평균 \mu와 표준편차 \sigma를 계산해야 합니다. 이를 위해 전체 샘플의 평균과 분산을 반환하는 tf.nn.moments(inputs,axes=-1, keepdims=True)을 사용할 수 있습니다. 그다음 α⊗(X - μ)/(σ + ε) + β 를 계산하여 반환합니다. c. 사용자 정의 층이 keras.layers.Laye..