一、分割|语义相关(6篇)

1.1 Semantic Image Synthesis via Class-Adaptive Cross-Attention

基于类自适应交叉注意的语义图像合成

https://arxiv.org/abs/2308.16071

在语义图像合成中，现有技术由使用空间自适应归一化层的方法主导，其允许优异的视觉生成质量和编辑多功能性。鉴于它们的功效，最近的研究工作集中在细粒度的局部风格控制和多模态生成。然而，通过构造，这样的层倾向于忽略全局图像统计，从而导致不令人信服的局部样式编辑并且引起全局不一致，诸如颜色或照明分布偏移。此外，生成器中的映射样式需要语义布局，对特性施加严格的对齐约束。作为回应，我们设计了一种新的架构，其中使用交叉注意层代替去规范化层来调节图像生成。我们的模型继承了这两种解决方案的优点，保留了最先进的重建质量，以及改进的全球和本地风格转移。代码和模型可在https://github.com/TFonta/CA2SIS上获得。

1.2 Semi-supervised Domain Adaptation with Inter and Intra-domain Mixing for Semantic Segmentation

基于域间和域内混合的半监督领域自适应语义分割

https://arxiv.org/abs/2308.15855

尽管语义分割技术取得了新的进展，但在实际应用中，由于领域转移导致的性能下降是一个不可避免的挑战。目前解决这个问题的主要方法是无监督域自适应（UDA）。然而，在UDA中没有标记的目标数据是过度限制和限制性能。为了克服这一限制，一个更实际的场景称为半监督域自适应（SSDA）已被提出。现有的SSDA方法源自UDA范式，主要集中在利用未标记的目标数据和源数据。在本文中，我们强调了利用有限的标记目标数据和未标记目标数据之间的域内信息的意义，因为它极大地有利于域适应。而不是仅仅使用稀缺的标记数据的监督，我们提出了一个新的SSDA框架，结合域间混合和域内混合，域间混合减轻源目标域的差距和域内混合丰富了可用的目标域信息。通过同时学习域间混合和域内混合，网络可以捕获更多的域不变特征，并提高其在目标域的性能。我们还探讨了不同的域混合操作，以更好地利用目标域的信息。在GTA5toCityscapes和SYNTHIA2Cityscapes基准测试上进行的综合实验证明了我们的方法的有效性，大大超过了以前的方法。

1.3 Shatter and Gather: Learning Referring Image Segmentation with Text Supervision

破碎与聚集：学习文本监督下的指代图像分割

https://arxiv.org/abs/2308.15512

参考图像分割，分割任意实体描述的自由形式的文本的任务，开辟了各种视觉应用。然而，用于该任务的训练数据的手动标记是昂贵的，导致缺乏用于训练的标记数据。我们通过弱监督学习方法来解决这个问题，该方法使用训练图像的文本描述作为唯一的监督来源。为此，我们首先提出了一个新的模型，发现输入图像中的语义实体，然后结合这些实体相关的文本查询预测的掩码的参考。我们还提出了一个新的损失函数，允许模型在没有任何进一步监督的情况下进行训练。我们的方法进行了评估四个公共基准参考图像分割，在那里它明显优于现有的方法相同的任务和最近的开放词汇分割模型的所有基准。

1.4 Modality Cycles with Masked Conditional Diffusion for Unsupervised Anomaly Segmentation in MRI

基于掩蔽条件扩散的磁共振无监督异常分割方法

https://arxiv.org/abs/2308.16150

无监督异常分割旨在检测与训练期间处理的任何模式不同的模式，通常称为异常或分布外模式，而不提供任何相关联的手动分割。由于部署期间的异常可能导致模型故障，检测异常可以提高模型的可靠性，这在高风险领域，如医学成像是有价值的。本文介绍了掩蔽模态周期与条件扩散（MMCCD），一种方法，使分割的异常在不同的模式在多模态MRI。该方法基于两个基本思想。首先，我们提出使用循环模态翻译作为一种机制，使异常检测。图像转换模型学习组织特异性模态映射，这是组织生理学的特征。因此，这些学习到的映射不能转换在训练期间从未遇到的组织或图像图案，并且错误使得能够进行它们的分割。此外，我们结合图像翻译与掩蔽条件扩散模型，它试图“想象”什么组织下的掩蔽区域，进一步暴露未知的模式，因为生成模型未能重新创建它们。我们通过在BraTS2021多模态MRI的健康外观切片上进行训练并在具有肿瘤的切片上进行测试，在代理任务上评估我们的方法。我们表明，我们的方法相比，有利的是以前的无监督的方法的基础上图像重建和去噪与自动编码器和扩散模型。

1.5 Attention-based CT Scan Interpolation for Lesion Segmentation of Colorectal Liver Metastases

基于注意力的CT扫描插值法在结直肠癌肝转移瘤分割中的应用

https://arxiv.org/abs/2308.15932

结直肠肝转移（CRLM）常见的小肝脏病变对于卷积神经网络（CNN）分割模型来说是具有挑战性的，特别是当我们在计算机断层扫描（CT）扫描中具有广泛的切片厚度时。CT图像的切片厚度可能因临床适应症而异。例如，当需要小血管的精细解剖细节时，更薄的切片用于术前规划。在保持患者的有效辐射剂量尽可能低的同时，由于其局限性，在CRLM中采用各种切片厚度。然而，跨CT的切片厚度的差异导致基于CNN的CT分割模型的显著性能下降。本文提出了一种新的无监督的注意力为基础的插值模型，从连续的三重切片CT扫描生成中间切片。我们在插值模型的训练过程中集成了分割损失，以利用现有切片中的分割标签来生成中间切片。与CT体积中的常见插值技术不同，我们的模型在插值切片中突出显示腹部CT扫描内的感兴趣区域（肝脏和病变）。此外，我们的模型的输出与原始输入切片一致，同时在两个尖端的3D分割流水线中提高了分割性能。我们在CRLM数据集上测试了所提出的模型，对厚切片的主题进行上采样，并为我们的分割模型创建各向同性体积。所产生的各向同性数据集增加了病变分割中的Dice分数，并且在插值度量方面优于其他插值方法。

1.6 Interpretability-guided Data Augmentation for Robust Segmentation in Multi-centre Colonoscopy Data

用于多中心结肠镜检查数据稳健分割的可解释性引导的数据增强

https://arxiv.org/abs/2308.15881

来自不同医疗中心的多中心结肠镜检查图像表现出不同的复杂因素和影响图像内容的叠加，取决于特定的采集中心。现有的深度分割网络难以在这样的数据集中实现足够的概括性，并且当前可用的数据增强方法不能有效地解决数据可变性的这些来源。作为一种解决方案，我们引入了一种创新的数据增强方法，以可解释性显着图为中心，旨在增强深度学习模型在多中心结肠镜图像分割领域的泛化能力。所提出的增强技术在不同的分割模型和域中表现出更高的鲁棒性。在公开的多中心息肉检测数据集上进行的彻底测试证明了我们方法的有效性和多功能性，这在定量和定性结果中都可以观察到。该代码可在以下网址公开获取：https://github.com/nki-radiology/interpretability_augmentation