Study: Artificial Intelligence(AI)/AI: Machine Learning(ML)

[ML] 정보이론: Entropy, KL Divergence, Mutual Information(MI)

💡 본 문서는 '[ML] 정보이론: Entropy, KL Divergence, Mutual Information(MI)'에 대해 정리해놓은 글입니다.~~~정리하였으니 참고하시기 바랍니다.1. Entropy엔트로피는 불확실성을 의미한다. 과학에서 쓰이는 엔트로피를 보면 동일한 부피에서 고체의 엔트로피는 낮고 기체의 엔트로피는 높으며,  낮은 곳에서 높은 곳으로 흐르는 성질이 있다. 머신러닝을 위한 수학에서도 엔트로피는 같은 의미로 쓰인다. 모델을 학습하는 것은 결국 확률을 모델링하는 것이 되는데, 해당 분포가 불확실할수록 엔트로피는 높아진다. 예를 들어 어떤 X가 있는데, 이 X는 초록사과(X=0)인지 빨간사과(X=1)인지에 대한 정보를 갖고 있는 확률 분포라고 생각해 보자. 첫 번째로 X1를 6개의 원..