상호정보량(Mutual Information)
상호정보량(Mutual Information)이라는 개념이 있습니다. 두 확률변수가 서로 어떤 관계를 가지고 있는지 나타내는 정보량 중의 하나인데, 두 확률변수가 완전히 독립인 경우(사건 A가 일어나는 것이 사건 B가 일어날 확률에 전혀 영향을 주지 않고, 그 역도 마찬가지인것) 그 값은 0이 되고, 둘이 서로 밀접한 관련(사건 A가 일어날수록 B가 일어날 확률이 높아진다던지)이 있을경우 커지고, 역의 방향으로 관련이 있을 경우(사건 A가 일어날수록 B가 일어날 확률이 낮아진다던지) 값이 작아지죠. 즉 둘이 얼마나 밀접한 관련이 있는지를 계량화하여 판단할 수 있는 수치입니다. 정의만 들어도 사용할 만한 곳이 막 떠오르지 않나요?수학적으로는 다음과 같이 정의됩니다.확률변수 A, B의 상호정보량을 I(A; ..
그냥 공부
2017. 1. 18. 14:49
