CompNet：脑MRI提取的互补分割网络

脑提取是大多数脑成像研究的基本步骤。在本文中，我们研究了颅骨剥离的问题，并提出了互补分割网络（CompNets），以准确地从正常和病理脑图像的T1加权MRI扫描中提取大脑。所提出的网络是在编码器 - 解码器网络的框架中设计的，并且具有两种途径来学习来自脑组织及其位于大脑外部的互补部分的特征。互补途径提取非脑区域的特征，并导致从具有病理的MRI脑提取的稳健解决方案，这在我们的训练数据集中不存在。我们通过在OASIS数据集上评估它们来证明我们网络的有效性，从而在双重交叉验证设置下产生最先进的性能。此外，我们的网络的稳健性通过测试具有引入病理的图像并显示其对看不见的脑病理的不变性来验证。此外，我们的互补网络设计是通用的，可以扩展到更好的泛化，以解决其他图像分割问题。

1 Introduction

图像分割旨在从图像中定位和提取感兴趣的对象，这是医学研究中的基本问题之一。以脑提取问题为例。为了研究大脑，磁共振成像（MRI）是最受欢迎的模式选择。然而，在脑MRI的定量分析之前，例如，测量正常的大脑发育和变性，发现诸如阿尔茨海默病的脑部疾病，或诊断脑肿瘤或病变，颅骨剥离通常是初步但必不可少的步骤，并且已经提出了许多方法解决这个问题。

在文献中，为脑MRI提取开发的方法可以分为两类：传统方法（手动，基于强度或形状模型，混合和基于PCA的方法[3,11]）和深度学习方法[7,10] 。与传统方法相比，深度神经网络已经证明了预测的大脑面罩质量的提高。然而，这些深度网络专注于从训练数据集中学习主要用于脑组织的图像特征，训练数据集通常是正常（或明显正常）脑MRI的集合，因为这些图像比具有病理的脑扫描更常见。因此，他们的模型表现对看不见的病理组织敏感。

在本文中，我们提出了一种新的深度神经网络架构，用于从脑部MRI中进行颅骨剥离，这提高了现有脑提取方法的性能，更重要的是通过仅对公共可用的常规脑部扫描进行训练而使脑病变不变。在我们的新设计中，网络学习脑组织和非脑结构的特征，也就是说，我们考虑图像中感兴趣区域之外的对象的补充信息。例如，大脑外部的结构，例如头骨，在正常和病理脑图像中高度相似和一致。利用关于大脑的这种补充信息可以帮助提高大脑提取方法的稳健性，并使其能够处理大脑中看不见的结构的图像。

我们探索了多个互补的分割网络（CompNets）。一般来说，这些网络有两个共同的途径：一个是学习什么是脑组织并产生脑膜;另一个是学习大脑以外的东西，并帮助其他分支生成更好的大脑面具。有三种变体，即概率，普通和最佳CompNets。特别是，CompNet的概率需要一个额外的步骤来为诸如头骨之类的互补部分生成基础事实，而普通和最佳的CompNets不需要这个额外的输入。最优的CompNet建立在普通的CompNet之上，并引入密集块（一系列完全相互连接的卷积层[4]）和多个中间输出[1]，如图1所示。这个最佳的CompNet有一个结束 - 在OASIS数据集的正常和病态图像上，三个CompNets中的最终设计，估计参数数量减少，性能最佳。此外，如果对象的互补部分有助于理解图像中的对象，则该网络是通用的并且可以应用于图像分割。

图。1。
我们的互补分段网络的架构，最佳的CompNet。 在每个编码器和解码器中使用对应于灰色条的密集块（DB）。 每个密集块中的三（x，y，z）表示它具有x卷积层，核大小为3×3; 每个图层都有y个滤镜，除了最后一个有z滤镜的滤镜。 SO：脑掩模的分割输出; CO：非脑掩模的互补分割输出; RO：输入图像的重建输出。 由Sigmoid函数产生的这三个输出是最终预测; 而所有其他Sigmoids产生中间输出，除了为图像重建子网络生成输入的绿色输出。 最好看的颜色。

2 CompNets：互补分段网络

像U-Net [9]这样的编码器 - 解码器网络经常用于图像分割。当前的分割网络主要关注于感兴趣的对象，这可能导致难以推广到看不见的图像数据。在本节中，我们将介绍我们的新型互补分段网络（CompNet的简称），它通过将感兴趣对象的学习过程与图像中其互补部分的学习相结合来提高分段稳健性。

我们的最佳CompNet架构如图1所示。该网络有三个组件。第一个组件是感兴趣区域（ROI）的分段分支，例如大脑，它遵循U-Net架构并生成大脑掩模。在正常脑部扫描的情况下，仅具有该分支的网络侧重于提取标准脑组织的特征，导致难以用看不见的病理学处理脑部扫描。为了解决这个问题，我们通过添加一个互补的分支分支来学习非大脑区域的结构，因为它们在正常和病理图像中相对一致。然而，由于互补部分缺少真正的掩模，我们采用子编码器 - 解码器网络基于前两个分支的输出重建输入脑部扫描。第三部分指导互补分支的学习过程，类似于无监督的W-Net [13]。它为分割和互补分支提供直接反馈，并期望从它们的合理预测作为输入来重建原始输入图像。互补分支间接影响分段分支，因为它们共享编码器以提取特征。

最佳CompNet包括密集块和多个中间输出，这有助于减少估计参数的数量并使网络更易于优化。为了便于阅读和理解，我们首先详细讨论普通版本。

简单的CompNet。普通网络是图1所示网络的简化版本。与U-Net类似，分段和重建子网络的编码器和解码器块（图1中的灰色条带）每个都有两个卷积层。 ，内核大小为3×3。编码器中卷积滤波器的数量从32开始，接着是64,128,256和512，而解码器中的数字从256开始，接着是128,64和32.每个卷积层之后是批量归一化[5]和辍学[12]。在编码器中的每个灰色条之后，使用最大池对特征图进行2次下采样;而对于解码器，使用去卷积层将特征图上采样2。在应用Sigmoid函数之后，该普通网络的每个分段分支仅具有来自解码器的最后一层的一个最终输出。分段分支的两个输出通过加法组合并作为输入传递给重建子网。在该子网络中，来自解码器的最后一层的输出是重建图像。与U-Net一样，我们在相同的分辨率级别上连接了从编码器到其解码器的特征映射，如图1中的灰色箭头所示。

我们在目标函数中使用Dice系数（Dice（A，B）= 2 |A∩B| /（| A | + | B |）[2]）来测量分割预测的良好性和均方误差（ MSE）衡量重建的好处。 特别地，该网络的学习目标是最大化ROI（Y ^ S）的预测掩模与其基础事实（YS）之间的Dice系数，最小化非ROI（Y）的预测掩模之间的Dice系数。 ^ C）和ROI真掩模，并最小化重建图像（X ^ R）和输入图像（X）之间的MSE。 我们将一个样本的损失函数表示为

这里，重建损失确保互补输出不是空图像，并且分割和互补输出的总和不是完全白色图像，因为没有全脑和头骨结构图的这种输入将导致实质的重建误差。

最佳CompNet。简单的CompNet有近1800万个参数。在卷积层之间引入密集连接可以显着减少网络参数的数量并减轻深度神经网络中的消失梯度问题。因此，我们用一个密集块替换普通CompNet中的每个灰色块，如图1所示。每个密集块具有不同数量的卷积层和滤波器。具体地，每个编码器中的密集块分别具有4个，10个，21个，21个和21个卷积层，并且每个解码器中的密集块分别具有21个，21个，10个和4个层。所有这些卷积层使用相同的内核大小3×3，每层中卷积滤波器的数量为12，除了最后一个，在五密集中从32变为64，变为128，变为256，再变为512编码器的块在解码器的四个密集块中从256，到128，到64和32变化。此设计旨在通过使用更多要素图来增加从一个密集块传输到下一个密集块的信息量。另外，我们将丢失放在密集块之间的过渡处。通过采用这些密集块，与普通块相比，我们的最佳CompNet变得更深，同时具有更少的参数（1530万）进行优化。

普通CompNet的另一个变化是引入了多个中间输出[1]。这些早期输出可以通过缩短从输入到输出的距离来减轻深度神经网络中的消失梯度问题。如图1所示，分割和重建子网络中的每个解码器具有六个输出，每个Sigmoid函数之后一个输出。前五个输出是中间输出，其是从解码器的每个密集块中的第一卷积层的原始和上采样特征图以及最后一个密集块中的最后卷积层的特征图生成的。我们观察到，在每个密集块的开头都有一个中间输出提供了比在最后使用它时更好的性能。最后一个密集块末尾的额外一个允许收集该块学习的特征。用于中间输出的所有特征映射的串联生成第六输出，该输出是用于预测的该分支的最终输出。此外，我们使用加法运算来集成来自两个分段分支的每对中间或最终输出，然后使用串联操作来收集所有这些，从而通过Sigmoid函数（绿色函数）输入重建子网络。在图1）中。每个Sigmoid层使用1×1×1卷积滤波器产生具有一个信道的特征映射，其将其响应值归一化为[0,1]。

概率CompNet。重建子网络用于指导互补途径的学习过程。人们可以通过提供用于训练的补充部分的基本事实来替代它，例如，产生颅骨面罩。这种策略是我们的第一次尝试，对于具有嘈杂背景的图像来说，这可能是非常重要的。在拥有大脑和非大脑区域的真实掩模之后，我们可以通过移除重建组件来构建仅包含图1中的分割和互补分支的网络。为了利用补充信息，我们在相同分辨率级别的两个分支的卷积层之间建立连接。具体地，来自一个分段分支的块的特征映射被转换为概率图，该概率图被反转并且与另一分支的相同分辨率级别的特征映射相乘。我们在另一个分支上执行相同的操作。从本质上讲，一个分支通知另一个分支专注于学习其互补部分的特征。该网络还可以处理病理图像中的脑提取;然而，训练需要大脑和颅骨面罩，图像背景噪声会影响结果。虽然我们可以设置强度阈值来对背景进行去噪，但是这个超参数可能在从不同脑MRI扫描仪收集的图像之间变化。

3实验
数据集。我们在OASIS数据集[8]上评估CompNets，其中包括对416名年龄在18到96岁之间的受试者的T1加权脑MRI扫描的集合，其中100名临床诊断为轻度至中度阿尔茨海默病。我们使用406个受试者的子集，其具有脑图像和可用的面具，图像尺寸为256×256×256。这些受试者被随机改组并平均分成两个块用于训练和测试，使用双重交叉验证，类似于[7]用于（明显）正常脑图像的比较。

为了进一步评估我们网络的稳健性，在OASIS子集的一个块中，我们将不同位置和不同大小的图像引入大脑病理，例如合成3D脑肿瘤和具有不同强度分布的病变，以及受损的头骨。和非脑组织膜，如图2的第一列所示。我们在另一块未更改的图像上训练网络，并在这一组噪声图像上测试它们。

图2。
在四个图像样本上的五个网络，普通和密集U-Nets，概率，普通和最佳CompNets之间的定性比较：正常的，一个在大脑内部具有病理学（案例1），一个在边界上具有病理学。 大脑（病例2）和头骨受损的病例（病例3）。 真实（红色）和预测（蓝色）掩模叠加在原始图像上。 紫色表示地面实况与预测之间的完美重叠。 最好看的颜色。

表格1。
在（显然）正常和病理图像上的不同网络之间的定量比较（平均值和标准偏差百分比）。 ⋆本文与我们的网络无法直接比较，因为它是在混合数据样本上进行评估的，包括来自OASIS数据集的77张图像（57％）。 （问题：概率; Opti。：Optimal）

实验设置。除了以0.3的速率退出之外，我们还使用L2正则化器来惩罚具有大幅度的网络权重，并且其控制超参数λ被设置为2e-4。对于训练，我们使用Adam优化器[6]，学习率为1e-3。所有网络最多可运行10个时代。

实验结果。我们将CompNets与[7]中提出的3D深度网络，普通U-Net（普通CompNet的骨干）和密集U-Net（最佳CompNet的骨干）进行比较。这些网络在（显然）正常图像（具有双重交叉验证）和病理图像（在具有干净图像的另一个折叠上训练）上进行测试。给定对象的3D脑MRI扫描，我们的网络接受2D切片并逐片预测脑掩模，其被堆叠回3D掩模而无需任何后处理。

图2显示了预测的大脑面具之间的定性比较。对于（显然）正常的脑部扫描，所有网络都产生视觉上可接受的脑部掩模。然而，平坦且密集的U-Nets在处理具有病理的图像方面存在困难，尤其是在脑边界上或附近的病理组织。大脑中的部分病理组织被认为是非脑组织。当头骨强度发生变化时，普通的U-Net甚至会将头骨的一部分作为大脑进行调整，如案例3所示。相比之下，我们的CompNets可以正确识别大脑，最佳CompNet可以为所有四个人提供最佳的视觉效果。案例。然后我们使用Dice评分，灵敏度和特异性来量化每个网络的分割性能，如表1所示。最佳CompNet在所有网络中始终表现最佳，正常（平均骰子为98.27％）或病理性（平均骰子） 97.62％）图像，虽然其在病态图像上的表现略微降低了平均<0.7％，在最坏的情况下<2.6％。

图3。
我们的最佳CompNet的三个输出（b-d）用于输入脑扫描（a）。

图3显示了最佳CompNet的三个输出：大脑及其补体的掩模和重建图像。 根据脑面罩及其互补面具的组合，我们可以识别脑部图像中的不同部分。 这证实了大脑分支按预期工作; 更重要的是，互补分支已经学会了将非脑区域与脑组织分离的特征。 这使得网络能够处理看不见的脑组织，并且对脑部扫描中的病理学不敏感。

4讨论和结论
在本文中，我们提出了一种互补的网络架构，用于从MRI扫描中分割大脑。我们观察到最佳CompNet的互补分割分支学习了大脑外的面具，并且可以帮助识别非大脑区域中的不同结构。免费设计使我们的网络对脑部扫描中的病理不敏感，并有助于正确分割大脑。我们使用合成的病理图像，因为缺乏公共可用的脑部扫描，包括病理和头骨。我们的源代码可公开用于真实病理图像的内部测试1。

此外，我们当前的网络接受来自3D大脑图像的2D切片，但是该设计可以扩展到3D网络以直接处理3D图像。实施3D CompNets将是我们未来的工作计划之一。此外，我们的互补网络设计并非特定于脑提取问题，但如果补充部分有助于学习和理解感兴趣的对象，则可以推广到其他图像分割问题。另一项未来工作是分析我们的CompNets的理论和几何含义。