숟가락 그만 얹어

One-hot encoding된 y_train에 대해 factor = 0.2 # 적당한 값으로 y_train = (1 - factor) * y_train + (factor / num_classes) References [1] C. Szegedy et al., Rethinking the Inception Architecture for Computer Vision, CoRR 2015

딥러닝 모델을 더 robust하고 generalizable하게 만드는 방법은 여러 단계에서 분포를 부드럽게 하는 것이다. 예를 들어 1) data space에서는 augmentation, calibration, pre-training, 2) parameter space에서는 ensemble, stochastic apporach, weight average, 3) feature space에서는 fit on Gaussian prior, information theoretic approach 등을 사용할 수 있다. (내 뇌피셜) Mixup은 augmentation 방법의 일종으로 data sample을 weighted average하여 smoothed sample을 생성하는 방법이다. 이때 weight lam..