通常CNN网络在卷积层之后会接上若干个全连接层，将卷积层产生的特征图（feature map）映射成一个固定长度的特征向量。
FCN 对图像进行像素级的分类，从而解决了语义级别的图像分割（semantic segmentation）问题，与经典的CNN 在卷积层之后使用全连接层得到固定长度的特征向量，进行分类（全连接层+softmax输出）不同。FCN可以接收任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map 进行上采样，使它恢复到输入图像相同尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像的中的空间信息，最后在上采样的特征图上进行逐像素分类。
最后逐个像素计算softmax分类的损失函数，相当于每个像素对应一个训练样本：
简单的来说，FCN与CNN 的区域在把与CNN 最后的全连接层换成了卷积层，输出的是一张已经Label 好的图片。
结合上述的FCN的全卷积与upsample，在upsample最后加上softmax，就可以对不同类别的大小概率进行估计，实现end to end，最后输出的图是一个概率估计，对应像素点的值越大，其像素为该类的结果也越大。FCN的核心贡献在于提出使用卷积层通过学习让图片实现end to end分类。