版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/bla234/article/details/89279194
主要贡献
- L0-regularizer:良好的平滑效果,但会生成假边
- SGF:消除小尺度高对比的细节,保持总体的显著性结构,但是语义丰富的信息给过度平滑了
- 本文方法:平衡了color flatten和salient edge preservation,设计核心是,训练信号作为一个创新的能量函数(energy function),包括edge-preserving regularizer和spatially-adaptive Lp flatten criterion。
- edge-preserving regularizer有助于保持重要而易损的图像结构
- spatially-adaptive Lp flatten criterion使用不同正则项对不同的图像区域进行平滑
主要方法
- total cost function
-
d - data term缩小输入图和平滑图的差异,确保结构相似性,即计算两图所有像素的均方误差
-
guidance image – edge response of an image in appearance,局部梯度幅值local gradient magnitude,即计算像素i的临近像素的绝对偏差
-
edge-preserving criterion – 最小化输入图与平滑图的guidance edge images,B是一个binary map,Bi=1指的是一个点
由于定义important edges是主观的,且在不同应用间不同。对于边标记这个labor-intensive的任务,我们使用了一些边探测及标记的技术。
- dynamic spatially-variant Lp flatten critertion
为了移除不想要的图片细节,平滑项通过惩罚临近像素的色彩差异来实现平滑效果
决定图像区域,不同的Lp正则器
使用guidance image来定义每个像素的pi和权重,c1和c2是两个正值阈值,plarge=2,psmall=0.8
设置原因有两点:
-
抑制单个regularizer造成的artifacts
pi和wi,j的取值,是为了最小化energy function
L0.8先用,知道出现一些过度锐化的假边,这是该regularizer的piecewise constant effect
L2则用于suppress artifacts
spurious structures,是假边,被定义为原图I的像素i的edge response较低但是被在输出图中被过分加强 -
通过专门的guidance images来实现不同的应用,没有证明p值分布的收敛性,但是结果还是稳定的。
spatial affinity:L2和ws用于边的抑制
color affinity:L0.8用于平滑
- 网络结构
FCN,带有dilated convolution和skip connections
- 网络概述
- 网络包括26个卷积层,所有层的卷积核都是3*3,输出64个feature maps(除了最后一层输出3通道),所有的卷积操作除了最后一层都跟着batch normalization和ReLU 函数。
- 第三个卷积层,对feature map进行下采样,通过2的步长。倒数第三个层,是一个范卷积层,用于恢复原图大小。
- 中间这20个卷积层,组成10个残差块residual blocks。
- 通过dilated 卷积来增大感受野
图像平滑需要广大区域的上下文信息,我们增大FCN的感受野,通过指数衰减的dilation因子。特别地,任意两个连续残差块都共享同一个dilation factor,而在下两个残差块则是双倍大小。
这是一个有效的方法来增大感受野却不牺牲图像的分辨率,带有指数增加的dilation factors,所有在n*n网格的点都可以被指数步log(n)到达。 - 残差图学习
在图像平滑任务中,由于输入和输出是高度相关的。为了减轻学习,而不是直接预测一个平滑图片,我们预测了一个残差图并通过其与原始输入进行点对点相加,来产生最终的图片。这样可以避免之前算法的色彩变弱问题。
- 实现细节
- Torch框架,小批量梯度优化(bs=1),网络权重使用何凯明的方法进行随机初始化,Adam算法用于训练,学习率设为0.01,epochs=30,在1080上花费8个小时
- 训练集:PASCAL VOC2010,17000+张图片,有着大量不同的拍摄角度,训练时将大小裁剪为224*224来加速
- 参数设置:
通用设置如下,其他设置则基于应用类型进行调整。
- 方法分析和讨论
- 不同优化器的视觉分析
Adam
IRLS
收敛周期,视觉效果
放大看图像,显示这两个不能很好地平滑颜色逐步变化的区域,IRLS过于锐化边,Adam会产生假性阶梯格子