医学图像分割是医学分析的中心问题。它很昂贵，需要大量数据，而且是特定于任务的。如果我们可以拥有一个可以应用于任何分割任务的模型怎么办？

医学图像分割：为什么我们需要以及为什么它很困难？

分割的例子。一般来说，图像分割是计算机视觉的核心任务。特别是在医学领域，这是一系列分析的第一步。在医学中，许多工具产生具有不同特征的图像（不同的工具、不同医院、不同领域、不同标签之间的标准化）。

鉴于其重要性，大量研究致力于医学图像分割。已使用各种技术来分析图像。近年来，深度学习模型已被证明是最有能力的，尤其是一种一直作为标准维护的架构：U-net。

尽管U-net被广泛使用，但仍然存在一些挑战。主要的一个是域转移或模型在呈现分布外数据时表现不佳的事实。这对于医学来说是一个问题，因为研究人员经常需要执行新的细分任务（研究目标发生变化、收集新数据集等）。

在这些情况下，必须从头开始训练模型或使用微调。这是一个昂贵的过程，需要医学和机器学习专业知识。然而，这些专家并不总是可用，这会减慢研究速度。

另一个问题是，在大量非医学图像上训练的模型不能很好地推广到医学领域。事实上，这些通才模型无法识别解剖结构并且表现不佳。

为了尝试解决域转移问题，麻省理工学院的研究人员创建了一种新的架构，如果您想解决新的分割任务，则无需重新训练

UniverSeg：通用医学图像分割

什么是陈述任务？

在一般分割任务中，我们有一个示例数据集 x 和对应的标签 y （像素映射），我们想要学习一个允许我们映射 x 和 y 的函数。问题是这个函数特定于我们处理 x 和 y 的分布（例如，如果我们有一个 X 射线数据集，我们就不能使用相同的模型进行大脑 CT 扫描）。

输入图像 (x) 和掩模 (y)。因此，作者的目标是学习一个可用于任何任务的通用函数，从而预测任何标签图。显然，为了成功实现这一目标，他们使用特定于任务的支持（一组示例图像标签对）。通过这种方法，模型能够泛化新的、未见过的任务。

模型

更详细地说，作者定义了一个新的块，将其添加到可以被理解为经典 U 网的块中：CrossBlock 模块。该模块允许使用交叉卷积将信息从支持集传输到查询图像。由于权重在操作过程中被重用，因此变换是排列不变的。此外，在每个步骤中，我们都有一个更新查询和支持表示。每个交叉块之后都进行下采样。

除此之外，它与 U-net 非常相似，使用残差连接，并产生预测图作为输出。在最后一步中，我们有一个 1x1 卷积。

培训

该模型使用不同的训练任务进行训练。同时，作者使用损失或交叉熵或软骰子（实际上是为了衡量预测值和真实情况之间的一致性）。

此外，使用两种方法：

• 任务内增强。标准增强，其中使用仿射变换、噪声添加、弹性变形等从一个示例生成多个示例。这些变换独立地应用于查询图像和支持集。
• 任务增强。此转换适用于所有图像，并且为同一任务设置支持。这种类型的增强旨在帮助模型泛化新模型。例如，分割图的边缘检测或对所有图像和标签应用水平翻转。

巨型医疗数据集

显然，要训练这样的模型，需要有一个相当大且多样化的数据集。作者收集并组合了多个数据集来创建 MegaMedical 数据集（53 个数据集，涵盖 26 个医学领域和 16 种成像模式）。他们还创建了综合分割任务以进一步增加训练任务的多样性。生成的数据集包括广泛的解剖结构（从细胞到骨骼，从大脑到眼睛），还包括不同年龄和身体状况的受试者。

该数据集提供了一整套成像任务和标签协议。最后，所有图像均被标准化并调整为 128x128 像素大小。

不幸的是，该数据集无法发布（由于许可问题），但作者提供了重建数据集的代码。

效果如何？

作者选择了一些其他的少样本模型进行比较（PANet、ALPet、SEnet）。就测试集的骰子得分而言，他们的模型被证明优于表现最高的基线。作者认为，这是因为 CrossBlock 能够更多地传输空间信息。

这也可以在定性层面上观察到，我们可以看到复杂数据集（例如 SpineWeb）的质的改进。

此外，该模型无论是作为运行时还是作为参数数量（刚刚超过 100 万个参数）也都具有良好的性能。

此外，该模型对于专门针对任务（监督学习）进行训练的模型也具有竞争力。

消融研究

我们分析了一些数据、模型和训练决策如何影响 UniverSeg 的性能 

作者分析了各种成分的影响，并指出：

• 任务多样性很重要。拥有更多的训练任务可以提高完成任务的绩效。
• 合成任务、任务内和任务增强都是模型的重要组成部分，消除它们会降低性能。一个有趣的发现是，仅使用综合任务训练的模型（因此仍然没有接触医疗任务）表现良好，这强化了任务多样性很重要的想法。

另外，支撑尺寸也很重要，越大越好（或者至少在某个点上，之后性能增加得更少）。

由于获取标记图像的成本很高，因此作者研究了标记图像数量的影响。随着支撑尺寸的增加，模型的性能显着提高。增加标记图像的数量可以减少方差并提高一致性。

局限性

总的来说，这项研究做得很好，但观察其他数据集中的表现会很有趣。作者仍然打算将性能提高到监督模型的性能。此外，该模型尚无法分割 3D 体积。

去哪里尝试？

这是官方项目链接

该代码位于 GitHub 上（可以在此处找到），并且他们为其提供了Google Colab，可以对其进行测试（并且提供了大量信息）。

结论

我们介绍 UniverSeg，一种用于学习医学图像分割的单一任务无关模型的方法。我们使用大量且多样化的开放获取医学分割数据集来训练 UniverSeg，它能够泛化到看不见的解剖结构和任务

作者引入了一个新层，允许将信息从支持集转换为查询图像。换句话说，通过这项工作，作者提出了一个在少数镜头设置下针对许多分割任务具有出色分割性能的模型。

该模型是科学家和临床研究人员的资源，他们可以利用模型而无需重新培训。