Deep Deterministic Uncertainty

Contribution
- Single forward pass로 training procedure를 유지한채로 uncertainty를 계산할 수 있다.
- OOD detection 성능이 Deep Ensembles과 맞먹거나 더 좋다.

Aleatoric uncertainty
Softmax의 entropy를 사용하였다.

Epistemic uncertainty
p(y|x)인 모델을 학습시킨 후에 latent z를 활용하여 Gaussian discriminant analysis (GDA)를 따로 학습시켜 z에 대한 feature density (q(z))를 구성하였다. q(z)에 대한 marginal likelihood로 epistemic uncertainty를 계산한다.

- p(y|x)와 q(z)를 동시에 잘 표현하는 모델을 만들 수 없기 때문에 따로 학습한다. p(y|x)는 task에 대한 성능, q(z)는 latent z에 대한 generative distribution을 의미한다.
- Epstemic이 높을 경우 aleatoric을 신뢰할 수 없다. (total_uncertainty = epistemic + aleatoric)

Feature collapse
OOD sample이 ID feature space로 mapping 되는 현상을 feature collapse라고 한다. 이를 보정하기 위해선 gradient가 너무 커지거나 작아지지 않도록 normalization이 필요한데, 본 논문에서는 residual connection (sensitivity)과 spectral normalization (smoothness)을 활용하였다.

- Sensitivity: OOD sample이 feature space에서 ID sample로 collapse 되지 않도록 한다.
- Smoothness: ID sample이 feature space에서 ID sample로 mapping 되도록 한다.

References
[1] J. Mukhoti et al., Deterministic Neural Networks with Appropriate Inductive Biases Capture Epistemic and Aleatoric Uncertainty, CoRR 2021