StyleGAN-XL: Scaling StyleGAN to Large Diverse Datasets(2022)
https://sites.google.com/view/stylegan-xl/
StyleGAN3 (2021)
- Project page: Alias-Free Generative Adversarial Networks (StyleGAN3)
- ArXiv: https://arxiv.org/abs/2106.12423
- PyTorch implementation: GitHub - NVlabs/stylegan3: Official PyTorch implementation of StyleGAN3
StyleGAN2-ADA (2020)
- ArXiv: https://arxiv.org/abs/2006.06676
- PyTorch implementation: GitHub - NVlabs/stylegan2-ada-pytorch: StyleGAN2-ADA - Official PyTorch implementation
- TensorFlow implementation: GitHub - NVlabs/stylegan2-ada: StyleGAN2 with adaptive discriminator augmentation (ADA) - Official TensorFlow implementation
- MetFaces dataset: GitHub - NVlabs/metfaces-dataset
StyleGAN2 (2019)
- ArXiv: https://arxiv.org/abs/1912.04958
- Video: https://youtu.be/c-NJtV9Jvp0
- TensorFlow implementation: GitHub - NVlabs/stylegan2: StyleGAN2 - Official TensorFlow Implementation
StyleGAN (2018)
- ArXiv: https://arxiv.org/abs/1812.04948
- Video: https://youtu.be/kSLJriaOumA
- TensorFlow implementation: GitHub - NVlabs/stylegan: StyleGAN - Official TensorFlow Implementation
- FFHQ dataset: GitHub - NVlabs/ffhq-dataset: Flickr-Faces-HQ Dataset (FFHQ)
Progressive GAN (2017)
- ArXiv: https://arxiv.org/abs/1710.10196
- Video: https://youtu.be/G06dEcZ-QTg
- TensorFlow implementation:
GitHub - tkarras/progressive_growing_of_gans: Progressive Growing of GANs for Improved Quality, Stability, and Variation - Theano implementation:
GitHub - tkarras/progressive_growing_of_gans at original-theano-version - CelebA-HQ dataset:
GitHub - tkarras/progressive_growing_of_gans: Progressive Growing of GANs for Improved Quality, Stability, and Variation
我有见到有人使用 Progressive GAN生成分子图像:https://towardsdatascience.com/molecule-synthesis-using-ai-10e0e1f89568
StyleGAN (2018)
A Style-Based Generator Architecture for Generative Adversarial Networks(基于风格的生成对抗网络生成器体系结构)
StyleGAN是当时最先进的高分辨率图像合成方法,已被证明可以在各种数据集上可靠地工作。除了逼真的人像,StyleGAN还可以用于生成其他动物,汽车甚至房间。
并且它也可以控制生成的人脸的风格(控制头发、眼睛...)
StyleGAN2 (2019):
Analyzing and Improving the Image Quality of StyleGAN(优化和提升StyleGAN的图像质量)
主要改进包括:(着重处理的伪影问题)
- 生成的图像质量明显更好(FID分数更高、artifacts减少)
- 提出替代progressive growing的新方法,牙齿、眼睛等细节更完美
- 改善了Style-mixing
- 更平滑的插值(额外的正则化)
- 训练速度更快
StyleGAN2-ADA (2020):
Training Generative Adversarial Networks with Limited Data(用有限的数据训练生成对抗网络)
StyleGAN、StyleGAN2的生成效果非常好,很大原因是有强大的数据集,比如生成的高清人脸训练集有14w张(FFHQ有7w张,图像翻转x2就是14w张)。大规模的数据集一般情况下很难采集,但是小数据集会导致模型过拟合,为了解决过拟合,可以在训练的时候对数据进行图像增强,比如随机裁剪、水平翻转、加噪声、一定范围内改变色调等。但是,数据增强会导致生成图片也有对应的增强,比如对原图加入了噪声,会导致生成图片也有噪声,这是我们不期望看到的。如何让小数据集的数据增强不出现在生成结果中呢?
这篇论文提出了stylegan2-ada方法。ada全称是adaptive discriminator augmentation,解决了需要训练的数据量大,以及使用数据增强后生成的图像带有噪声的问题
StyleGAN3 (2021)
Alias-Free Generative Adversarial Networks(Alias-Free生成对抗网络)
在GAN的合成过程中,某些特征依赖于绝对像素坐标,这会导致:【细节似乎粘在图像坐标上,而不是所要生成对象的表面】,而stylegan3从根本上解决了stylegan2图像坐标与特征粘连的问题,实现了真正的图像平移、旋转等不变性,大幅度提高了图像合成质量。
通过上图可以看出来stylegan2生成的毛发等细节会粘在屏幕上,和人物的形态变化不一致。