Prior Networks

Posterior

Distributional uncertainty는 categorical distribution으로부터 추정되는 uncertainty로, Dirichlet distribution을 따른다고 가정한다. Dirichlet distribution은 k개 class에 대한 확률 값을 (0~1) 표현한 분포로 out-of-distribution example에 대해서는 분산이 커진다. (hyper-parameter인 alpha를 NN의 output으로 학습한다)

 

Uncertainty를 measure하는 metric 중에 Mutual Information (MI)은 다음과 같이 정의될 수 있다.

Mutual Information

위 식은 MI의 정의인 H(y) - H(y|theta)와 같다. 앞 term은 theta가 marginalized out 되어 H(y)가 되고, 뒤의 term은 y conditioned on theta에 대한 기댓값이 계산되어 H(y|theta)가 된다. 

 

Contribution

- Model uncertainty로부터 distributional uncertainty를 분리하여 out-of-distribution을 잘 표현할 수 있다.

- Uncertainty를 measure하는 다양한 metric을 소개한다.

 

References

[1] A. Malinin et al., Predictive Uncertainty Estimation via Prior Networks, NeurIPS 2018