숟가락 그만 얹어

Virtual Adversarial Training (VAT) 논문의 Section 3.3만 간단하게 정리. Second derivative term만을 이용한 noise 생성이라 dramatic한 augmentation은 아닐 것으로 판단된다. References [1] T. Miyato et al., Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning, PAMI 2017

특이하게 ImageNet을 labeled set, JFT를 unlabeled set으로 하여 서로 다른 category set임에도 semi-supervised learning을 수행하였다. 아래 그림이 사실 학습 과정의 전부다. 먼저 labeled set으로 teacher model을 학습하고 unlabeled set에 대해 pseudo label (soft label)을 생성한다. Labeled set과 pseudo labeled set을 모아 student model을 새로 학습시키는데 이때 여러 noise injection 방법을 사용한다. 학습한 student model은 다시 teacher model이 되어 새로운 student 모델을 학습하여 생성한다. Implementation detail..