Beta-VAE

Loss Function

KL term에 beta를 두어 diagonol covariance를 가진 Gaussian prior에 posterior를 더 잘 맞추도록 한다. Information bottleneck 관점에서 beta는 channel capacity를 조절하는 coefficient인데, beta 값을 크게 하면 데이터 사이의 information이 중첩되어 decoding이 어려워진다.

Overlapped Information among Data

예를 들어 위 그림에서는 tilda x가 실제로는 q(z2|x2)에서 sampling 되었음에도 q(z1|x1)에서 likelihood가 더 크게 계산된다. 그렇다고 이 상황이 최악인 것은 아니다. 데이터의 information 중첩될 것이라 가정하고 최대한 reconstruction error을 줄이려면 서로 비슷한 데이터끼리 모이면 된다. 이는 latent space에서의 smoothness를 높여 원하는 factor를 continuously control 할 수 있다.

 

References

[1] I. Higgins et al., beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework, ICLR, 2017

[2] C. P. Burgess et al., Understanding Disentangling in beta-VAE, NIPS, 2017