PNACONV - 知乎这是一篇非常接地气的paper,也具有很好的应用价值。 1 aggregators文中提到不同的聚合函数实际上反应的信息是不同的,gin中也有提到类似的内容。 风浪:图神经网络的背后:HOW POWERFUL ARE GRAPH NEURAL NETWORK…https://zhuanlan.zhihu.com/p/545327476图神经网络的背后:HOW POWERFUL ARE GRAPH NEURAL NETWORKS? - 知乎论文:HOW POWERFUL ARE GRAPH NEURAL NETWORKS? 作者:Keyulu Xu,Weihua Hu, Jure Leskovec 来源:ICLR 20191. 概括GNN目前主流的做法是递归迭代聚合一阶邻域表征来更新节点表征,如 GCN和 GraphSAGE,但这些方法…https://zhuanlan.zhihu.com/p/66589334
PNA
dehamy等人[11]也通过经验发现,使用多个聚合器(mean, sum和normalized mean)从输入消息中提取相似的统计信息,可以提高gnn在图矩任务上的性能。相比之下,我们的工作通过推导使用互补聚合器的必要性来扩展理论框架。因此,我们建议使用不同的统计聚合来允许每个节点更好地理解它接收到的消息的分布,并且我们将均值推广为一组可能的n-矩聚合器中的第一个。在图核设置中,Cai等[12]使用多个聚合器构建了一个简单的基线。在计算机视觉领域,Lee等人[13]通过经验证明了均值池和最大池相结合的好处。这使我们对理论分析的有效性有了进一步的信心。
2 Principal Neighbourhood Aggregation
在本节中,我们首先解释并发使用多个聚合器背后的动机。然后,我们提出了基于程度的标量的想法,并将其与之前关于GNN表达性的相关工作联系起来。最后,我们详细介绍了利用所提出的主邻域聚集的图卷积层的设计。
2.1 Proposed aggregators
文献中的大多数工作只使用单一的聚合方法,在最先进的模型中使用最多的是mean, sum和max聚合器[6,15,17,18]。在图1中,我们观察到当使用单个GNN层时,不同的聚合器如何无法区分不同的消息。
我们用下面的定理形式化我们的观察结果:
定理1(所需聚合器的数量)。为了区分大小为n且底层集合为R的多集,至少需要n个聚合器。
命题1(多集矩)。多集的矩(如公式4所定义)展示了使用n个聚合器的有效示例。
我们证明了附录A中的定理1和附录b中的命题1。注意,与Xu等人[6]不同,我们考虑连续输入特征空间;这更好地表示了许多观察值具有不确定性的现实世界任务,并更好地模拟了神经网络表示中的潜在节点特征。连续特征使得空间不可数,使得Xu等[6]提出的和聚集的注入性证明无效。