StyleGAN的发展史

StyleGAN-XL: Scaling StyleGAN to Large Diverse Datasets(2022)

https://sites.google.com/view/stylegan-xl/

StyleGAN3 (2021)

StyleGAN2-ADA (2020)

StyleGAN2 (2019)

StyleGAN (2018)

Progressive GAN (2017)

我有见到有人使用 Progressive GAN生成分子图像:https://towardsdatascience.com/molecule-synthesis-using-ai-10e0e1f89568


StyleGAN (2018)

A Style-Based Generator Architecture for Generative Adversarial Networks(基于风格的生成对抗网络生成器体系结构)

StyleGAN是当时最先进的高分辨率图像合成方法,已被证明可以在各种数据集上可靠地工作。除了逼真的人像,StyleGAN还可以用于生成其他动物,汽车甚至房间。

并且它也可以控制生成的人脸的风格(控制头发、眼睛...)

StyleGAN2 (2019):

Analyzing and Improving the Image Quality of StyleGAN(优化和提升StyleGAN的图像质量)

主要改进包括:(着重处理的伪影问题

  1. 生成的图像质量明显更好(FID分数更高、artifacts减少)
  2. 提出替代progressive growing的新方法,牙齿、眼睛等细节更完美
  3. 改善了Style-mixing
  4. 更平滑的插值(额外的正则化)
  5. 训练速度更快

StyleGAN2-ADA (2020):

Training Generative Adversarial Networks with Limited Data(用有限的数据训练生成对抗网络)

StyleGAN、StyleGAN2的生成效果非常好,很大原因是有强大的数据集,比如生成的高清人脸训练集有14w张(FFHQ有7w张,图像翻转x2就是14w张)。大规模的数据集一般情况下很难采集,但是小数据集会导致模型过拟合,为了解决过拟合,可以在训练的时候对数据进行图像增强,比如随机裁剪、水平翻转、加噪声、一定范围内改变色调等。但是,数据增强会导致生成图片也有对应的增强,比如对原图加入了噪声,会导致生成图片也有噪声,这是我们不期望看到的。如何让小数据集的数据增强不出现在生成结果中呢?

这篇论文提出了stylegan2-ada方法。ada全称是adaptive discriminator augmentation,解决了需要训练的数据量大,以及使用数据增强后生成的图像带有噪声的问题

StyleGAN3 (2021)

Alias-Free Generative Adversarial Networks(Alias-Free生成对抗网络)

在GAN的合成过程中,某些特征依赖于绝对像素坐标,这会导致:【细节似乎粘在图像坐标上,而不是所要生成对象的表面】,而stylegan3从根本上解决了stylegan2图像坐标与特征粘连的问题,实现了真正的图像平移、旋转等不变性,大幅度提高了图像合成质量

通过上图可以看出来stylegan2生成的毛发等细节会粘在屏幕上,和人物的形态变化不一致。

猜你喜欢

转载自blog.csdn.net/weixin_43135178/article/details/126579347