Image reconstruction by domain-transform manifold learning论文解读

版权声明:本样板的所有内容,包括文字、图片,均为原创。对未经许可擅自使用者,本人保留追究其法律责任的权利。 https://blog.csdn.net/qq_29893385/article/details/81950944

       前不久在导师的引导下,阅读了nature发表的医学图像重建论文,论文题目为Image reconstruction by domain-transform manifold learning,现提取核心要点进行解读。

  

Methods

  1. 图像数据集采集和预处理

数据集

 

ImageNet,来自“动物”,“植物”和“场景”类别的10,000个图像

HCP脑图像,50,000图像数据集

 

预处理

 

首先将图像裁剪为中央256×256像素,随后被子采样为128×128。从RGB彩色图像中提取Y通道亮度以形成灰度级强度图像。然后以90°的增量旋转每个图像以增加数据集。减去每个图像的平均强度,并将整个数据集标准化为由数据集的最大强度定义的恒定值。

 

  1. 模型架构。

统一的图像重建框架—— 通过流形近似自动变换(AUTOMAP——它将图像重建重新定义为一个数据驱动的监督学习任务,该任务允许从适当的训练数据库中生成传感器和图像域之间的映射,也就是学习传感器域和图像域之间的重建映射关系(如图a

 

AUTOMAP采用深度神经网络架构实现,该架构由具有双曲正切激活(tanh激活函数)的完全连接层(FC1FC3组成,随后是具有整流非线性激活的卷积层,形成卷积自动编码器(如图c完全连接的层近似于从传感器域到图像域的流形间投影。卷积层从数据中提取高级特征,并迫使图像在卷积特征空间中稀疏地表示

深度神经网络架构实现AUTOMAP

注:激活函数的作用就是将输入数据映射到0到1上(tanh是映射到-1到1上),全连接层激活函数一般是选用Sigmoid或者Tanh,又因为多层使用Sigmoid函数会使误差从输出层开始呈指数递减,出现梯度消失(Gradient Vanish)现象,所以FC层一般选用tanh函数作为激活函数。

 

存在问题:在卷积操作后使用反卷积操作重建图像,根据反卷积原理,在stride1时,计算公式为

得到的数据为126,并没有按照原定预案回到128 128的image原有尺寸。

 

 

现在已解决

解决方案:在第二层卷积120加入padding=1后得到122,而后根据7*7的卷积核进行反卷积可以得到128*128原始近似图像。

参考论文:Image reconstruction by domain-transform manifold learning
 

猜你喜欢

转载自blog.csdn.net/qq_29893385/article/details/81950944