Can you trust your model's uncertainty?

Uncertainty를 표현하는 5가지 방법 (Softmax, Calibration, Dropout, Ensembles, Variational Bayesian inference)을 비교한 논문이다. 어떤 방법이 noise에 robust하면서도 out-of-distribution example에 대해 uncertainty를 잘 표현하는지 여러 데이터셋에 대해 검증하였는데, 결론만 말하자면 ensembles이 가장 좋았다. Google AI Blog에 실험 내용이 잘 정리되어 있다. https://ai.googleblog.com/2020/01/can-you-trust-your-models-uncertainty.html

 

References

[1] Y. Ovadia et al., Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Data Shift, NeurIPS Workshop 2019