前不久在导师的引导下,阅读了nature发表的医学图像重建论文,论文题目为Image reconstruction by domain-transform manifold learning,现提取核心要点进行解读。
Methods
- 图像数据集采集和预处理
数据集
① ImageNet,来自“动物”,“植物”和“场景”类别的10,000个图像
② HCP脑图像,50,000图像数据集
预处理
首先将图像裁剪为中央256×256像素,随后被子采样为128×128。从RGB彩色图像中提取Y通道亮度以形成灰度级强度图像。然后以90°的增量旋转每个图像以增加数据集。减去每个图像的平均强度,并将整个数据集标准化为由数据集的最大强度定义的恒定值。
- 模型架构。
统一的图像重建框架—— 通过流形近似自动变换(AUTOMAP)——它将图像重建重新定义为一个数据驱动的监督学习任务,该任务允许从适当的训练数据库中生成传感器和图像域之间的映射,也就是学习传感器域和图像域之间的重建映射关系(如图a)。
AUTOMAP采用深度神经网络架构实现,该架构由具有双曲正切激活(tanh激活函数)的完全连接层(FC1至FC3)组成,随后是具有整流非线性激活的卷积层,形成卷积自动编码器(如图c)。完全连接的层近似于从传感器域到图像域的流形间投影。卷积层从数据中提取高级特征,并迫使图像在卷积特征空间中稀疏地表示
深度神经网络架构实现AUTOMAP
注:激活函数的作用就是将输入数据映射到0到1上(tanh是映射到-1到1上),全连接层激活函数一般是选用Sigmoid或者Tanh,又因为多层使用Sigmoid函数会使误差从输出层开始呈指数递减,出现梯度消失(Gradient Vanish)现象,所以FC层一般选用tanh函数作为激活函数。
存在问题:在卷积操作后使用反卷积操作重建图像,根据反卷积原理,在stride为1时,计算公式为
得到的数据为126,并没有按照原定预案回到128 128的image原有尺寸。
现在已解决
解决方案:在第二层卷积120加入padding=1后得到122,而后根据7*7的卷积核进行反卷积可以得到128*128原始近似图像。
参考论文:Image reconstruction by domain-transform manifold learning