NFormer: Robust Person Re-identification with Neighbor Transformer
编程语言
2023-07-28 23:44:02
阅读次数: 0
2022CVPR的NFormer论文,代码
研究内容
研究动机
: 行人重识别具有判别行鲁棒的表示学习是关键的,但是很多研究者考虑从的单个图像中学习表示,忽略了图像之间的交互。然而,由于身份内的高度变化,忽略这种交互通常会导致异常特征。
解决方法
:提出了NFromer网络,显示地对所有输入图像上的交互进行建模,从而抑制异常值特征并导致总体上更稳健的表示。由于建模大量图像之间的交互是一项具有大量干扰因素的艰巨任务,NFormer引入了两个新模块,即Landmark Agent Attention和Reciprocal Neighbor Softmax。
- the Landmark Agent Attention (LAA)通过在特征空间中使用少量Landmarks的低秩因子分解来有效地对图像之间的关系图进行建模.
- Reciprocal Neighbor Softmax (RNS)实现了对相关邻居的稀疏关注,而不是仅关注所有邻居,这减轻了不相关表示的干扰,并进一步减轻了计算负担。
研究背景
- Re-ID的主要挑战之一是,任何一个人都会因为外在因素(如不同的相机设置、灯光、视角、遮挡)或内在因素(如换衣
转载自blog.csdn.net/u013308709/article/details/131505151