Classifier-free Diffusion Guidance

기존의 classifier-based guidance는 noise level에 따른 classifier를 따로 학습시켜야 할 뿐만 아니라 classifier based metric인 IS와 FID를 의도적으로 향상하기 위한 adversarial attack일 수 있다고 저자는 주장한다. 본 논문에서 제안하는 guidance 방식은 conditional diffusion model의 output과 unconditional model의 output의 차이의 방향으로 sample을 생성하도록 유도한다. 이때 unconditional model은 conditional model의 condition을 0 또는 null을 나타내는 방식으로 만든다

괄호를 전개하여 w로 다시 묶어보면 개념이 더 명확해짐

이는 여러 가지로 해석이 가능한데, 1) implicit classifier의 역할을 한다고 볼 수도 있고, 2) noise constrastive estimation처럼 unconditional output을 일종의 noise로 간주하고 이를 줄이는 방향을 유도한다고 불 수도 있다. 엄밀한 수학적 정의는 아니나 개념적으로는 그렇다.

 

결과를 보면 w 값에 따라 IS와 FID 사이의 일종의 trade-off 관계가 발생하는데, 대강 찾아보니 IS는 intra-class diversity를 반영하지 못하기 때문에 w 값이 커질수록 sample diversity from FID가 떨어진다고 생각하면 얼추 맞는 것 같다.

 

References

[1] J. Ho et al., Classifier-free Diffusion Guidance, NeurIPS Workshop 2021