Sober Look at Disentanglement

Disentanglement는 해결 가능한 문제인가? [1] 논문에서는 이론적인 증명 (inductive bias 없이는 어렵다...)과 여러 모델이 진정한 의미에서의 disentangled representation을 생성하는지 실험적으로 관찰하였다.

 

1. 실제로 모델이 uncorrelated posterior를 생성하는가?

Sampled representation (z ~ N(mu, sigma))이라면 regularizer strength에 따라 correlation이 조절된다. 그러나 mean representation (mu)은 오히려 strength가 커질수록 correlated 되는 경향을 보인다.

 

2. 여러 disentanglement metric 간에 연관성이 있는가?

대체로 그렇다.

 

3. 모델의 hyperparameter나 random seed는 disentanglement에 얼마나 중요한가?

매우 중요하다.

 

4. 모델을 선택하는 기준을 세울 수 있는가?

없다.

 

5. 생성된 disentangled representation이 downstream task에 도움이 되는가?

확실하지 않다.

 

VAE 계열의 disentanglement 모델은 objective function보다는 모델의 구조나 hyperparameter에 크게 영향을 받고, 좋은 모델을 정의하기도 어렵다. 또, disentanglement가 잘 된다고 해서 downstream task에 더 적합한지도 의문이다. 그렇다면 next step은?

 

References

[1] F. Locatello et al., Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations, ICML, 2019