Gaussian Discriminant Analysis

Generative learning algorithm 중 하나인 GDA는 p(y|x)를 구하는 Bayes rule (p(y|x) = p(x|y)p(y), classification 문제라면 분모 term p(x)은 필요 없다)에서 p(x|y)를 Gaussian으로 모델링하는 것이다. 2 class classification 문제라면 아래와 같이 모델링이 가능하다.

2 class classification GDA

이때 학습이 필요한 parameter는 Bernoulli의 phi, Gaussian의 u0, u1, cov (모든 class가 cov를 공유한다)이다. 각 parameter는 empirically 계산하면 된다.

 

References

[1] http://cs229.stanford.edu/notes/cs229-notes2.pdf