Deep Ensembles

Bayesian approach는 posterior 추정 시 training 과정 자체를 흔들어야 하기 때문에 수렴이 잘 안되거나 많은 computing이 필요할 수 있다. 본 연구는 non-Bayesian approach로 3가지 방법 (proper scoring rule, adversarial training, ensembles)을 활용하여 uncertainty를 계산한다.

 

Proper scoring rule

Loss term을 잘 정의하는 것이다. Classification의 경우에는 cross-entropy를 활용하면 되고, regression 문제는 Gaussian의 log-likelihood form을 이용하여 term을 정의하면 uncertainty를 잘 표현할 수 있다.

 

Adversarial training

Augmentation의 일종으로 adversarial example을 포함하여 학습하면 predictive distribution을 smoothing 할 수 있다. 왜냐하면 observed training example의 epsilon-neighborhood sample에 대한 likelihood를 증가시킬 수 있기 때문이다.

 

Ensembles

논문에서는 5개의 모델로 ensemble을 구성하였다.

 

아래 그림에서 왼쪽 첫 번째 그림은 5개의 모델에 대한 variance를 표현, 두 번째는 1개의 모델에 대하여 proper scoring rule을 적용, 세 번째는 1개의 모델에 대하여 proper scoring rule + adversarial training 적용, 마지막 그림은 모든 technique을 적용한 것이다. 나중에 포스팅하겠지만 알려진 방법 중 가장 uncertainty를 잘 표현하는 연구이다.

Deep Ensembles

References

[1] B. Lakshminarayana et al., Simple and Scalable Predictive Uncertainty Estimation using Deep Ensemble, NIPS 2017