深度学习论文: Student-Teacher Feature Pyramid Matching for Anomaly Detection及其PyTorch实现
Student-Teacher Feature Pyramid Matching for Anomaly Detection
PDF: https://arxiv.org/pdf/2103.04257v2.pdf
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

STFPM遵循学生-教师框架的优点，但在准确性和效率方面进行了大幅扩展。具体而言，STFPM使用在图像分类上经过预训练的强大网络作为教师，将其知识融入到具有相同架构的单个学生网络中。在这种情况下，学生网络通过将无异常图像的特征与预训练网络的对应特征进行匹配来学习无异常图像的分布，这一步骤的转移尽可能地保留了关键信息。此外，为了增强尺度鲁棒性，STFPM将多尺度特征匹配嵌入到网络中，这种分层特征匹配策略使得学生网络能够在更强的监督下接收来自特征金字塔的多级知识混合，并能够检测各种大小的异常。教师网络和学生网络的特征金字塔进行比较以进行预测，较大的差异表示异常发生的概率较高。

优点：

• 首先，在一步蒸馏过程中，有用的知识能够从预训练网络很好地转移到具有相同结构的学生网络中。
• 其次，由于网络的分层结构，提出的特征金字塔匹配方案方便地实现了多尺度异常检测。

2 STFPM

STFPM示意图如下：

STFPM核心目标是训练一个网络（即学生网络），使其能够编码正常数据的分布。为了实现这个目标，我们设计了两个孪生网络，一个被称为“教师”，另一个被称为“学生”。教师网络通过预训练的权重初始化，具备了广泛的知识。而学生网络则是随机初始化的。

在训练过程中，正常数据同时经过教师网络和学生网络。通过损失函数，对教师网络和学生网络之间的金字塔层特征图进行特征蒸馏，从而使得学生网络能够学习到正常数据的表达。

在推理阶段，将测试数据输入到“教师”和“学生”网络中。对于正常数据，两者的表现应该非常接近。然而，当面对异常数据时，“教师”网络可以处理得很好，而“学生”网络则会出现混乱。通过比较两者在金字塔层特征上的差异来判断是否出现了异常数据。

3 Experiments

深度学习论文: PyramidFlow: High-Resolution Defect Contrastive Localization using Pyramid Normalizing Flow及其PyTorch实现
PyramidFlow: High-Resolution Defect Contrastive Localization using Pyramid Normalizing Flow
PDF: https://arxiv.org/pdf/2303.02595.pdf
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

PyramidFlow 借鉴了模板匹配类型方法的思路，利用正常样本的 embedding 向量作为模板与测试样本进行匹配判断。其主要的创新点主要有三个方面：

• 首先，使用了正常样本的 embedding 向量作为模板与测试样本进行匹配判断，这种方法可以更准确地检测异常情况。
• 其次，PyramidFlow 使用了多尺度多样本的特征融合和映射，这样可以更全面地捕捉图像中的异常信息。
• 最后，值得注意的是，PyramidFlow 在不使用预训练模型的情况下取得了优于其他方法的结果，这表明了其在异常检测任务上的有效性和独特性。

2 PyramidFlow

PyramidFlow算法包括两个过程，训练和评估。训练过程类似于孪生网络，通过最小化图像对中的频率差异来优化模型。对于评估过程，通过在整个训练数据集上进行推理，获得潜在模板，然后应用潜在对比和金字塔组合来获得异常定位图。

2-1 Invertible Pyramid

2-2 Pyramid Coupling Block

2-3 Pyramid Normalizing Flow

3 Experiment