利用图神经网络(GNN)的视频/图像分割模型总结(AGNN、Episodic Graph Memory Networks、Cas-GNN)

注:Zero-shot VOS即为零样本视频对象分割,指在验证阶段不会向网络输入除待测视频本身以外的其他注释样本,下文记为 Z-VOS;One-shot VOS即为单样本视频对象分割,也可称为自监督或半监督视频对象分割(semi-supervised VOS),指在验证阶段向网络输入辅助分割的注释样本(通常是待测视频第一帧的真实分割结果掩模),下文记为 O-VOS;Semantic Object Segmentation即为语义对象分割,下文记为SOS。

Ⅰ、AGNN(Z-VOS)

Attentive Graph Neural Networks

Wang W, Lu X, Shen J, et al. Zero-shot video object segmentation via attentive graph neural networks[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 9236-9245.
AGNN模型示意图(训练时)

有loop-edge、intra-attention

v:结点,h:状态,g:门,m:消息

部分计算公式:
在这里插入图片描述

Ⅱ、Episodic Graph Memory Networks(O-VOS/Z-VOS)

Lu X, Wang W, Danelljan M, et al. Video object segmentation with episodic graph memory networks[C]//European Conference on Computer Vision. Springer, Cham, 2020: 661-679.
模型示意图

无loop-edge,

m:结点/消息,h:情景特征(状态),a:门

q:当前帧(自监督时)

部分计算公式:
在这里插入图片描述
论文里出现了一个词组,叫做 the label shuffling strategy(标签洗牌策略),它鼓励分割网络学习通过考虑当前的训练样本,而不是记忆目标和给定标签之间的特定关系,来区分当前框架中的特定实例

Ⅲ、Cas-GNN(SOS)

Cascade Graph Neural Networks

Luo A, Li X, Yang F, et al. Cascade graph neural networks for rgb-d salient object detection[C]//European Conference on Computer Vision. Springer, Cham, 2020: 346-364.
级联推理模型示意图

Node:多尺度颜色特征ci和深度特征di

Edge:1) ci或di之间,2) 相同尺度的ci和di之间

CNN:VNN-16,and use the dilated network technique(扩张网络技术) to ensure that the last two groups of VGG-16 have the same resolution
提取特征C和D后,用基于图的推理模型 Graph-based Reasoning (GR) module 推理跨模态的高阶关系,得到更强大的embeddings:

在这里插入图片描述
(比前两个多的一部分)
Hierarchical分层的GNN模型:由于它独立处理多层次推理过程,很难充分做到互利

Cascade Graph Reasoning (CGR) module 级联图推理模型:

在这里插入图片描述
在这里插入图片描述

总结:

1、相同点:

流程(框架)基本相同:CNN提取特征(RGB/RGB+某一帧/RGB+D),用(视频片段的某几帧的特征/图片提取多尺度特征)表示成几个结点,(RGB自连+互连/RGB互连/RGB+D互连)形成图,迭代进行消息传递,最后的结点特征(状态)再读出成所要的S(预测)

2、不同点:

Ⅰ像是标配版

Ⅱ在Ⅰ的基础上加了自监督(O-VOS)(如果是Z-VOS感觉和Ⅰ差不多吧)

Ⅲ在Ⅰ的基础上加了级联图推理CGR

猜你喜欢

转载自blog.csdn.net/weixin_44949421/article/details/122977865