Deep Infomax

Mutual Information Maximization

Contribution

1. MINE [2]을 이용하여 X와 E(X)의 mutual information을 maximize하여 downstream task에 적합한 representation을 생성

2. X를 여러 개의 local patch로 나누고 E(X)와의 average mutual information을 maximize하여 pixel 단위의 noise를 제거한 representation 생성

3. Desirable statistical properties (compact, indepedent, disentagled)를 달성하기 위해 adversarial training을 이용하여 prior에 fitting

 

References

[1] R. D. Hjelm et al., Learning Deep Representations by Mutual Information Estimation and Maximization, ICLR 2019

[2] M. I. Belghzi et al., Mutual Information Neural Estimation, ICML 2018