Dropout as Bayesian Approximation

Uncertainty 연구 중 가장 유명한 논문이다. Posterior를 approximation하는 q를 dropout으로 모델링한다. 원래 딥러닝에서 dropout은 한 번의 inference로 activation 값에 대한 expectation을 계산하나, 본 논문에서는 dropout을 적용한 inference를 여러 번 수행한 결과를 이용하여 uncertainty를 계산한다. 원리를 간단한 코드로 구현하면 다음과 같다.

 

Dropout as Bayesian Approximation 원리

위와 같이 모델링하면 deep Gaussian processes의 behavior를 근사시킬 수 있다고 한다. 하지만 실제 활용에 있어서는 prob_drop 설정에 민감하고, training이 잘 수렴하지 않거나 over-parameterized model이 필요할 수 있으므로 비추.

 

References

[1] Y. Gal et al., Dropout as Bayesian Approximation: Representing Model Uncertainty in Deep Learning, ICML 2016