Bayesian Neural Networks

Bayesian Neural Networks

보통은 training data X, Y에 대하여 최적의 weights 값을 찾아 deterministic function f(x, w) = y를 찾는 것이 목표지만, BNN은 weights를 확률 분포로 모델링하여 stochastic function을 얻고자 한다. Inference 시 확률 분포에서 weights를 sampling하므로, 여러 번 sampling 하면 y에 대한 예측 값 (mean)과 uncertainty (variance)를 계산할 수 있다.

Variational Inference

직접 weights에 대한 posterior를 구할 수 없기 때문에 q로 approximate한다. q는 Gaussian (Bayes by Backprop)으로 가정할 수도 있고, Dropout으로 (Dropout as Bayesian Approximation) 모델링 할 수도 있다. q로부터 weights를 sampling하여 training 또는 inference를 수행한다고 생각할 수 있다.