Joint Transmission Map Estimation and Dehazing using Deep Networks

模型

整个网络包括三个子网络,如图。
这里写图片描述

  • transmission map estimation
    传播图估计网络是一个CGAN网络,包含两个子网络:生成网络G和对抗网络D
    生成网络:有类似U-net结构的跳跃级联结构
    C(15)-CBP(30)-CBP(60)-CBP(120)-CBP(120)-CBP(120)-CBP(120)-CBP(120)-TCBP(120)-TCBP(120)-TCBP(120)-TCBP(120)-TCBP(60)-TCBP(30)-TCBP(15)-TC(1)-tanh
    对抗网络:
    CB(48)-CBP(96)-CBP(192)-CBP(384)-CBP(384)-C(1)-sigmoid
    损失函数:均方误差损失+对抗损失

  • haze feature extraction
    一个可行的方案是:让网络直接学习传播图和去雾图之间的非线性映射关系,但是这里有一个问题,就是在论文Image-to-image with conditional adversarial networks中所说的,当网络在学习类标签图像和RGB彩色图像之间的映射时,很难保留图像原有的彩色信息,因此,即使网络学习到的映射关系能够产生视觉上理想的结果,也不可能精确地预测出去雾后图像。
    为了确保去雾后的图像和原图像保持色彩恒常,作者这里借鉴了论文Deep Joint Image Filtering中的做法,用一个guidance image联合估计出的传播图一起作为第三个去雾网络的输入。这里的guidance image就是子网络haze feature extraction提取出的高维特征。
    网络结构和guided image dehazing一样。

  • guided image dehazing
    类似于一个融合网络,多输入单输出,输入的是高维特征和估计出的传播图的concatenate,输出的是最终的去雾图,网络结构如下:
    CP(20)-CBP(40)-CBP(80)-C(1)-Concat(2)-CP(80)-CBP(40)-CBP(20)-C(3)-tanh
    损失函数:均方误差损失+感知损失
    感知损失能够极大地增强最终结果的视觉效果。

训练

  • 数据集 NYU Depth dataset
    基于以下条件:(1)全局大气光服从[0.5,1.2]均匀分布;(2)大气散射系数服从[0.4,1.6]均匀分布;(3)针对每个无雾清晰图像以及对应的深度图,我们随机选择4个全局大气光和大气散射系数,人工合成有雾图像以及传播图
    训练集:600张 x 4=2400
    patch size:256 x 256

  • 模型参数设置
    学习率:0.002
    损失函数:
    优化函数:Adam
    batch size:10
    框架:Torch

  • 对比试验
    Transmission map estimation without adversarial loss:
    Image dehazing without perceptual loss:
    Image dehazing without Euclidean loss:
    Image dehazing without transmission map:

测试

  • 合成图像测试
    测试集:75张 x 4=300
    比较内容:
    1、定性比较:从人工合成测试集中选择2幅出来和其他算法对比传播图以及去雾后图像
    2、定量比较:SSIM、PSNR

  • 真实图像测试
    比较内容:
    1、之前论文里面出现过的真实有雾图像对比
    2、具有挑战性的真实有雾图像对比

猜你喜欢

转载自blog.csdn.net/qq_31425127/article/details/80337984
今日推荐