贴一下汇总贴：论文阅读记录

论文链接：《A Graph Similarity for Deep Learning》

一、摘要

图神经网络(GNNs)已经成功地从图中学习表示。许多流行的gnn遵循聚合-转换的模式:它们聚合邻居的属性，然后用一个可学习的函数转换聚合的结果。对这些gnn的分析解释了哪些非同图对具有不同的表示。然而，我们仍然缺乏对这些表述有多相似的理解。我们采用核距离，并提出transform-sum-cat作为聚合变换的替代方案，在邻域聚合中反映节点邻域之间的连续相似性。这个想法导致了一个简单而有效的图相似性，我们称之为Weisfeiler-Leman相似性(WLS)。与现有的图形内核相比，WLS很容易用常见的深度学习框架实现。在图分类实验中，transform-sum-cat方法明显优于其他流行的GNN模型的邻域聚合方法。我们还开发了一种基于transform-sum-cat的简单快速的GNN模型，与广泛使用的GNN模型相比，该模型在节点分类方面具有更高的精度，在图回归方面具有更低的绝对误差，在图生成的对抗训练方面具有更高的稳定性。

文章主要内容

图的深度学习自然需要研究具有连续属性的图，目前还不清楚输入图之间的相似性如何反映在GNN表示之间的距离上。提出了一种反映GNN体系结构相似性的方法，所得的简单GNN模型具有较强的经验性能和效率，从连续性的角度出发有助于改善GNN架构。

二、结论

• 与主要采用的聚合变换操作相反，我们提出了一种图神经网络的transform-sum-cat方案。对于连续节点属性，我们给出了transform-sum-cat比aggregate-transform更好的例子。
• 基于transform-sum-cat定义了一个简单而有效的图相似度，它很容易用深度学习框架实现。相似性是对Weisfeiler-Leman图同构检验的扩展。
• 我们基于transform-sum-cat构建了一种简单的图神经网络，该网络在节点分类和图回归方面都优于目前广泛使用的图神经网络。我们还展示了我们的建议在一次性生成分子图的一个有前途的应用。

在图核领域，有两点不足，

• 快速和高效的内核不能反映节点属性的平滑变化。
• 平滑的基于匹配的内核缓慢而且昂贵。

于是本文提出了一种反映GNN体系结构相似性的方法，引入一个平滑地反映属性连续变化的图核，同时也非常简单和快速。从连续性的角度出发，来改善GNN架构。

三、WL算法

算法的论文在这里：Weisfeiler-Lehman Graph Kernels

假设要测试同构的两张图为$G$和$G^{\prime }$，那么在结点$v$的第$i$次迭代里，算法都分别做了四步处理：标签复合集定义、复合集排序、标签压缩和重标签。

• 标签复合集定义
  如果是第一次迭代， $v$的标签复合集里只有一个元素，就是$v$的标签。
  如果不是第一次迭代，$v$的标签复合集元素就是$v$的所有邻居在上一轮迭代里，生成的标签。

• 复合集排序
  首先，对复合集里的元素进行升序排序，并把排序好的元素拼接为一个字符串$s$；然后把$v$在上一轮迭代生成的标签作为前缀，添加到这个$s$里。

• 标签压缩
  对两张图$G$和$G^{\prime }$中所有结点的字符串$s$，进行升序排列；然后通过映射函数$f$，把每一个$s$映射成一个压缩标签，并且当且仅当$s_1=s_2$时，生成的压缩标签才一样。
  也是说，压缩标签类似于$s$的标识符，而映射函数f完全可以用计数函数来实现。其实只要能让$s$和压缩标签一一对应，前面的对$s$进行升序排列这一步就没必要做了。

• 重标签
  将压缩标签作为结点$v$在两张图中的第$i$轮标签。
  如果$G$和$G^{\prime }$在这一轮生成的标签集不一样，那么这两张图就不是同构的，算法直接结束。

例

首先说下每个图的意思

• a：网络中每个节点有一个label，如图中的彩色的1，2，3，4，5；
• b：标签扩展：做一阶广度优先搜索，即只遍历自己的邻居。
  比如在图（a）网络G中原（5）号节点，变成( 5, 234) ，这是因为原（5） 节点的一阶邻居有2，3，4；
• c：标签压缩：仅仅只是把扩展标签映射成一个新标签，如$5,234\Rightarrow 13$
• d：压缩标签替换扩展标签
• e：数标签：比如在G网络中，含有1号标签2个，那么第一个数字就是2。这些标签的个数作为整个网络的新特征。

稳定后，统计两张图的label的分布，如果分布相同，则一般认为两张图是同构的。

可以继续下去，发现每个对应数字的节点的标签扩展都是相同的，所以上面两张图都稳定了，且分布相同，所以可以认为两张图是同构的。

四、WLS

将核距离理论应用于WL算法，产生的一个简单而快速的图相似性。

• Weisfeiler–Leman similarity
• WLS kernel
• WLS neural network

代码地址：WLScode_github