Recap

생성 모델의 핵심 목표: 학습 데이터의 확률 분포 $P_{data}(x)$를 학습

이를 달성하는 두 가지 방법:

1. Explicit Density (명시적 밀도 모델): $P(x)$를 수식적으로 정의하고 계산할 수 있는 모델.
   • Tractable: 정확한 확률 계산 가능 (예: Autoregressive Models - PixelRNN/CNN).
   • Approximate: 근사적으로 계산 (예: VAE - Variational Lower Bound 최대화).
2. Implicit Density (암묵적 밀도 모델): $P(x)$ 값을 직접 알 수는 없으나, 해당 분포에서 데이터를 샘플링(생성)할 수 있는 모델.
   • Direct: 단 한 번의 패스로 샘플링 (예: GAN).
   • Indirect/Iterative: 반복적인 과정을 통해 샘플링 (예: Diffusion Models).

core problem of generative model:

prior distribution — $z$s

data distribution — $x$s

how to associate (pairing) $z$s and $x$s.

learn the association from $z$ to $x$

vae: model predict $z$ and $x$

gan: not supervising the relationship pre

diffusion: integrate curves

Generative Adversarial Networks (GANs)

GAN은 확률 밀도 함수를 명시적으로 정의하지 않고, 게임이론(Minimax)을 도입하여 샘플링 성능을 극대화한 모델임.

Setup