27일 차(2022/08/09)

cGAN(conditional GAN)

  기존 GAN 구조에서 데이터의 모드를 제어할 수 있도록 조건(condition)을 함께 입력하는 모델입니다.

simple cGAN structure: https://arxiv.org/pdf/1411.1784.pdf

  Generator에서 z는 latent vector(=noise vector), y는 condition vector입니다.

  cGAN에서의 objective function은 아래의 식과 같습니다.

objective function: https://arxiv.org/pdf/1411.1784.pdf

Pix2Pix(Image-to-Image Translation)

  GAN을 기반으로 설계된 아키텍처입니다. 학습 과정에서 이미지 자체를 조건으로 입력 받는 cGAN의 한 유형입니다. 즉 픽셀들을 입력으로 받아서 픽셀들을 예측한다는 의미를 가지고 있습니다.

Training cGAN to map edges -> photo: https://arxiv.org/pdf/1611.07004.pdf

  여기서는 noise vector가 사용되지 않기 때문에 결과가 거의 deterministic 하다고 볼 수 있습니다.

  이미지를 조건으로 입력받고 이미지를 출력으로 내보내는 것을 효과적으로 처리하는 U-Net 기반의 아키텍처를 사용합니다.

example of U-Net architecture: https://en.wikipedia.org/wiki/U-Net

  Pix2Pix의 목적 함수는 아래의 것을 사용합니다.

Pix2Pix의 object function: https://arxiv.org/pdf/1611.07004.pdf

  Pix2Pix의 discriminator는 이미지 전체에 대해 판별하지 않고, 이미지 내에서 특정 size(패치) 단위로 판별합니다.

  Pix2Pix는 서로 다른 두 domian(X, Y)의 데이터를 한 쌍으로 묶어서 학습(조건과 정답을 한 쌍으로 묶어서 학습)을 진행합니다. 그렇기 때문에 한 쌍으로 묶여있지 않은 dataset에 Pix2Pix를 적용하기 어렵다는 한계점이 존재합니다.