Mixup

딥러닝 모델을 더 robust하고 generalizable하게 만드는 방법은 여러 단계에서 분포를 부드럽게 하는 것이다. 예를 들어 1) data space에서는 augmentation, calibration, pre-training, 2) parameter space에서는 ensemble, stochastic apporach, weight average, 3) feature space에서는 fit on Gaussian prior, information theoretic approach 등을 사용할 수 있다. (내 뇌피셜) Mixup은 augmentation 방법의 일종으로 data sample을 weighted average하여 smoothed sample을 생성하는 방법이다. 이때 weight lambda는 Beta distribution을 따른다. (Beta distribution은 range가 0~1이므로 확률 값이 필요한 상황에 사용하면 좋은 분포다.)

Pytorch example. 간단스

References

[1] H. Zhang et al., mixup: Beyond Empricial Risk Minimization, ICLR 2018