模型过参数化在医学图像中的影响 个人看法

在神经网络训练中,模型参数越多,虽然越容易导致过拟合,但是也可以容易的训练。在进行transfer learning时,可以看出过参数化是网络可以成功的关键。

论文中这一段很有意思,拿出来跟大家分享一下。主要意思是医学图像和自然图像 差别很大。直接用自然图像的权重作为一个预训练作用大不大。其实我个人在做医学图像分割实验 时候,基本都不用resnet 之类作为预训练,除了使用resnet 之类网络会使得整个模型扩大以后,我也一直怀疑这个意思。其实在加入了预训练权重以后,可以发现网络收敛的速度相比于随机初始化的速度要快一点。

The Utility of Feature ReuseTransfusion这两篇论文讨论了这些问题。

高层网络的感受野比较大,语义信息表征能力强,但是特征图的分辨率低,几何信息的表征能力弱(空间几何特征细节缺乏);

低层网络的感受野比较小,几何细节信息表征能力强,虽然分辨率高,但是语义信息表征能力弱。

高层的语义信息能够帮助我们准确的检测或分割出目标。

猜你喜欢

转载自blog.csdn.net/nijiayan123/article/details/106336634