MINE

Mutual information (MI)는 두 확률 변수 간의 mutual dependency를 나타낸다. 정의는 각 확률 변수의 marginal probability의 곱에 대한 joint probability의 비이다.

 

Mutual Information

Joint distribution을 안다면 non-linear dependency를 계산할 수 있어 단순 correlation을 계산하는 이상의 의미를 가질 수 있다. 그러나 각 확률 변수가 pmf form이거나 잘 알려진 pdf form이 아니라면 exact computation이 어렵다. 본 논문은 KL-divergence 정의를 relax하고 neural networks로 approximate하는 방법을 제안한다.

 

Relax KL-divergence Form

The Donsker-Varadhan Representation

MINE

위 representation을 이용하면 MI를 (joint probability - marginal probabilty의 곱) 형태로 나타낼 수 있다.

MI Relaxed Form

Theta는 neural networks의 parameters, Pxz는 joint sampling, PxPz는 marginal sampling (X, Z에 대해 independently sampling)이다. MINE은 MI를 추정할 수도 있지만, 학습 방향에 따라 maximize하거나 minimize 할 수 있기 때문에 GAN이나 information bottleneck approach에 적용하여 regularizing 효과를 얻을 수 있다.

 

References

[1] M. I. Belghzi et al., Mutual Information Neural Estimation, ICML 2018