Adversarial Latent AutoEncoders
AutoEncoder와 GAN은 데이터를 생성한다는 점에서는 유사하지만 latent space를 표현하기 위해서는 AE의 encoder-decoder design이 더 자연스럽다. (하지만 데이터 생성은 잘 못한다) 이 latent feature란 놈이 왜 중요하냐면 우리가 manually feature를 뽑고 label을 달아주지 않아도 딥러닝이 궁극의 feature를 알아서 만들어준다는 기대가 있기 때문이다. 이 feature는 각 unit이 하나의 semantic을 표현하도록 잘 disentangle 되어야 한다. 본 논문에서는 GAN과 비슷한 수준으로 데이터를 생성하고, disentangled representation을 학습하는 AE를 제안하였다.
F는 deterministic function으로 stochasitc z를 input으로 받아 latent w로 mapping 한다. G는 generator로 생성된 fake 데이터와 real 데이터를 구분하려는 dicrimininator E, D와 함께 adversarial training을 진행한다. 이때 F를 거친 latent와 E를 거친 latent의 분포가 같아지도록 loss term을 추가한다.
ALAE의 특징으로는 assumed prior가 없이 latent feature가 학습되도록 하여 disentanglement를 유도하였고, latent space을 autoencoding (w=G(E(w))) 하여 l2 loss 등에 더 적합하도록 설계하였다는 것이다. 두 가지 특징 모두 장점이 될 수 있을 것 같다. StyleGAN based encoder 설계나 학습 방법에서의 detail은 좀 더 공부해봐야 할 듯.
결과는 약간 애매한데 간단히 얘기하자면 다른 method에 비해 disentanglement는 잘 되었으나 task의 성능이 더 좋은 것은 아니다는 결론이다.
References
[1] S. Pidhorskyi et al., Adversarial Latent AutoEncoders, CVPR 2020