정보이론Information Theory - 딥러닝 기반 학습을 통해 예측 모형을 만드는 것- 훈련 데이터를 바탕으로 새로운 데이터를 예측할 수 있는 확률 분포를 만드는 것 => 따라서 예측 분포와 실제 정답의 분포 간의 정보량 차이 계산이 필요정보이론 - 데이터나 시그널에 존재하는 정보의 양을 측정하는 이론 => 해당 확률분포의 특성을 알아내거나 확률분포 간 유사성을 정량화- 잘 일어나지 않는 사건은 자주 발생하는 사건보다 정보량이 많다는 것 1. 자주 발생하는 사건은 낮은 정보량 2. 덜 자주 발생하는 사건은 더 높은 정보량3. 독립사건은 추가적인 정보량을 가짐예) 동전을 던져 앞면이 두 번 나오는 사건에 대한 정보량 > 동전을 던져 앞면이 한번 나오는 정보량정보량의 수치화 - 정보량: 어떤 Even..