URL: https://distill.pub/2016/deconv-checkerboard/

PAPER: Deconvolution and Checkerboard Artifacts

Overlap&Learning

神经网络生成的图像，普遍存在checkerboard pattern of artifacts的现象（高频），尤其在色彩比较强烈的图像中。（棋盘状）。因为神经网络有一个bias偏好，更容易生成average color，越偏离平均值，生成越困难。

反卷积产生uneven overlap，尤其是卷积核大小kernel size不可被步长stride除尽的时候。

二维情况下，不同轴的uneven overlap相叠加，产生不同强度的棋盘状的特征。

现在，一般使用多层反卷积来生成图像，尽管理论上可以消除假象的影响，实际上反卷积层层叠加，产生不同尺度上的假象。

理论上，模型可以学会处理uneven overlapping positions，所以输出仍是均衡的，实际上很难处理好。

限制filters，来避免严重的假象，同时会导致模型capacity的降低。

事实上，不仅是uneven overlap存在以上问题，even overlap的模型也会学习到导致相似假象的核。由于uneven overlap的默认行为，所以即便是even overlap的模型，也很容易在反卷积时产生假象。

大量的因素导致这个现象。产生假象是反卷积的默认行为，即便精心挑选size，反卷积也很容易产生假象。

扫描二维码关注公众号，回复： 153972 查看本文章

Better Upsampling

从卷积中分理出上采样部分。使用差值方法来resize图像，然后进行卷积处理。

相较于反卷积每个输出窗口只有一个值，resize-convolution隐含地加权处理，抑制了高频假象的产生。

--->nearest-neighbor interpolation

--->bilinear interpolation

Artifacts in Gradients

不论何时，我们使用卷积层，都会在反向传播时做反卷积处理，这就在卷积中产生了棋盘特征。

max pooling导致一定程度的高频假象。[Geodesics of learned representations]

梯度假象会影响GANs。不清楚梯度假象的广在的含义，也许是一些神经元多次获得neighbors的梯度，也许是输入中的某些像素影响过大。