Information Bottleneck

General Deep Learning Framework

모델이 위와 같이 주어졌을 때 information bottleneck은 다음의 식을 minimize하는 objective를 말한다.

Information Bottleneck

오른쪽 첫 번째 term은 latent Z가 Y를 표현할 수 있는 sufficient statistics를 가져야 한다는 의미이고, 두 번째 term은 input X의 불필요한 정보를 Z에 담지 않는다는 의미이다. Beta를 통해 적절한 mutual information loss를 정의하는 것이 중요한데, beta가 크면 X에 대한 정보를 많이 잃을 것이고 beta가 작으면 pixel 단위의 noisy한 정보를 포함하고 있을 가능성이 크다.