항상 엔진을 켜둘게🚀 항상 엔진을 켜둘게🚀

엔트로피: 확률분포가 가지는 정보의 확신도 혹은 정보량을 수치로 표현한 것 확률분포에서 특정한 값이 나올 확률이 높아지고 나머지 값의 확률은 낮아진다면 엔트로피가 작아짐. 반대로 여러가지 값이 나올 확률이 대부분 비슷한 경우에는 엔트로피가 높아짐. 엔트로피는 확률분포의 모양이 어떤지를 나타내는 특성값 중 하나로 볼 수도 있음. 확률 또는 확률밀도가 특정값에 몰려있으면 엔트로피가 작다고 하고, 반대로 여러가지 값에 골고루 퍼져있다면 엔트로피가 크다고 함. 확률변수 Y가 카테고리분포와 같은 이산확률변수이면 다음처럼 정의. $$H[Y]=-\sum_{k=1}^K p(y_k)log_{2}p(y_k)$$ 여기서 K는 X가 가질 수 있는 클래스의 수, $p(y)$는 확률질량함수. 확률의 로그값이 항상 음수이므로 음수..