神经风格迁移:用深度神经网络生成风格化图像,通过捕获到的图像中的内容表征对输出图像做约束,就是输入图像和目标图像通过vgg提取的特征做约束。
GAN图像翻译:Image-to-image translation,主要基于conditional GAN,需要源域和目标域图像,学习两个域之间的转换,需要成对数据。cyclegan不需要成对数据。卡通画人物本质是photo-to-cartoon的translation,源域是真实照片,目标域是卡通图像。
基于预训练生成模型:本身从噪声生成一张图像,如果希望对特定的内容进行生成,需要加入内容的条件控制,主要包括stylegan和diffusion model。stylegan能够基于噪声z,利用生成器生成模拟现实域的真实人脸图像,通过transfer learning少量的卡通样本,可以对模型进行迁移学习,从而适配到卡通域,模型进过adaption之后能够生成卡通样本。
Image Cartoonization
1.GAN系列
CartoonGAN
https://github.com/Yijunmaverick/CartoonGAN-Test-Pytorch-Torchhttps://github.com/Yijunmaverick/CartoonGAN-Test-Pytorch-TorchAnimeGANv1/v2/v3
White-box-cartoonization
https://github.com/SystemErrorWang/White-box-Cartoonization/https://github.com/SystemErrorWang/White-box-Cartoonization/GAN-based multi-style photo cartoonization
2.stable diffusion webui逐帧风格化
mov2mov
人像卡通动漫化
Portrait Stylization
DCT-Net
VToonify:Controllable High-resolution portrait video style transfer
https://github.com/minivision-ai/photo2cartoonhttps://github.com/minivision-ai/photo2cartoon