快速图像风格迁移是在"原始"图像风格迁移基础上的一种"高效"转换方案.
[github传送门]https://github.com/hzy46/fast-neural-style-tensorflow
1 "快速"风格转换原理
"快速"图像风格转换,先使用VGGNet训练图像风格网络,获取风格网络模型,然后在VGGNet网络中使用梯度下降法计算图像风格,内容及融合的损失,生成效果图,取代了"原始"图像风格转换直接从原始图像提取内容,风格及融合的过程,提高了图像转换速度,CPU转换1分钟内,GPU转换30s内即可完成.
2 分析
网络结构:
图2.0展示表示"快速"图像风格抓换架构,该网络由两部分构成,即图像转换网络
(Images Transform Net),损失计算网络
(Loss Network).其中,
图像转换网络将输入的图像
通过映射
输出图片
;
损失网络用于定义损失方程
,每个损失方程计算一个标量
预测输出
与目标输出
的差值.损失网络
定义
表示内容损失,
表示风格损失,
表示图像内容输出,
表示图形风格输出.
序号 | 参数 | 描述 |
---|---|---|
1 | 输入图像 | |
2 | 输出图像 | |
3 | 图像内容 | |
4 | 图形风格 | |
5 | 内容损失 | |
6 | 风格损失 |
训练过程:
(1) 训练图形风格网络,分别提取VGGNet的relu1_2,relu2_2,relu3_3和relu4_4风格特征,根据测试结果,如图2.1所示,选择relu3_3作为风格输出.
(2) 计算图像内容损失,根据测试结果,图2.2所示,选择relu3_3作为内容结果.
(3) 最终的输出图像是根据输入的内容图像 ,输出内容 满足 ,输出风格 (即调用预训练风格网络模型)进行优化训练得出.
3 结果
"快速"转换结果:
4 结论
- "快速"风格转换,在保证质量的情况下,提高了转换效率;
- 该转换模型,需预先训练图像风格模型,执行转换内容转换时直接调用风格模型即可,这也是提高转换速度的关键;
- 使用预训练模型,是提高处理速度的关键;
[参考文献]
[1]Very Deep Convolutional Networks for Large-Scale Image Recognition
[2]Perceptual Losses for Real-Time Style Transfer
and Super-Resolution