What Uncertainties Do We Need?

Aleatoric uncertainty: captures noise inherent in the observations. 데이터의 noise 인해 생기는 uncertainty이다. 그림 (d)에서 object의 boundary에 uncertainty가 높게 나타나는 이유는 segmentation labeling 편차로 인해 생긴 것으로 추측된다.

 

Epistemic uncertainty: captures ignorane about which model generated our collected data. 모델의 ignorance로부터 발생하는 uncertainty이다. 학습이 충분히 수렴되지 않았거나 학습 데이터가 부족한 경우, out-of-distribution example이 주어진 경우에 uncertainty가 높게 계산된다.

 

Aleatoric uncertainty는 output을 Gaussian으로 가정했을 때 학습되는 variance term을 이용하고, epistemic uncertainty는 Dropout as Bayesian Approximation으로 sampling 값에 대한 variance로 계산된다. (Classification task의 경우 logits을 Gaussian으로 가정한다)

 

Results

Aleatoric uncertainty는 데이터 자체에 기인한 것이므로 실험 setting에 따른 영향을 받지 않았고, epistemic uncertainty의 경우 training set의 size나 test set의 분포에 따라 큰 영향을 받는다. 

 

References

[1] A. Kendall et al., What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?, NIPS 2017

[2] alexgkendall.com/computer_vision/bayesian_deep_learning_for_safe_ai/