论文《Universal Graph Convolutional Networks》笔记

【UGCN】论文提出一个基本问题,即是否不同的网络结构属性应该采用不同的传播机制。通过实验发现,对于完全同配性、完全异配性和随机性的网络,1-hop、2-hop和k-nearest neighbor(kNN)邻居分别更适合作为信息传播的邻域。为了应对现实世界网络的复杂性,作者提出了一种新的通用GCN框架——UGCN。该框架通过多类型卷积同时提取1-hop、2-hop和kNN网络的信息,然后设计一种判别式聚合来充分融合这些信息,以满足给定的学习目标。

本文发表在2021年NeurIPS会议上,作者学校:天津大学、北京邮电大学、美国伊利诺伊香槟大学,引用量:80。

NeurIPS会议简介:全称Conference on Neural Information Processing Systems(神经信息处理系统大会),机器学习和计算神经科学领域的顶级学术会议,CCF A。

查询会议:

  • 会伴:https://www.myhuiban.com/

  • CCF deadline:https://ccfddl.github.io/

原文和开源代码链接:

  • paper原文:https://openreview.net/forum?id=MSXDyfli9vy
  • 开源代码:https://github.com/jindi-tju/U-GCN

0、核心内容

图卷积网络(GCNs)旨在通过聚合相邻节点来获得节点的表示,在处理图(网络)数据上的各种分析任务方面显示出了巨大的能力。GCNs的显著性能通常依赖于网络的同质性假设,而这种假设并不能总是得到满足,因为异配性或随机性在现实世界中也普遍存在。这就引出了一个基本问题:具有不同结构属性的网络是否应该采用不同的传播机制?

在本文中,我们首先进行了一个实验研究。令人惊讶的是,我们发现传播机制实际上存在分割规则,即1跳、2跳和k最近邻(kNN)邻居分别更适合于具有完全同质性、完全异配性和随机性的网络邻域。然而,现实世界的网络是复杂的,并且可能呈现出不同的结构属性,例如,由同质性主导的网络可能包含少量的随机性。那么,我们能否合理地利用这些分割规则来设计一个独立于网络结构假设的通用传播机制呢?

为了应对这一挑战,我们开发了一个新的通用的GCN框架,即UGCN。首先引入了多类型卷积,同时从1跳、2跳和kNN网络中提取信息,然后设计了一个判别聚合来充分融合它们,以达到给定的学习目标。

大量的实验证明了UGCN优于最先进的技术。

(引自摘要)

1、展开研究
① 本文贡献

现有方法从传播机制的角度来看,仍然缺乏深刻的理解。

作为本研究的第一个贡献,我们进行了实验,分析了GCN在具有不同结构性质的网络中的传播机制。令人惊讶的时,我们的实验清楚地表明,对于具有完全同质性、完全异配性和随机性的网络,1跳、2跳和k最近邻(kNN)邻居分别更适合作为信息传播的邻域。这意味着对GCNs当前传播机制的描述能力有限,具有不同结构特性的网络可能需要采用不同的传播机制。

事实上,虽然这些分割规则似乎能够以一种理想的方式选择合适的节点作为邻域,但现实世界的网络是复杂的,并且可能呈现出不同的属性,例如,由同质性主导的网络可能包含少量的随机性或异配性。一个自然的问题是,“我们能否合理利用这些分割规则来设计一个独立于网络结构假设的通用传播机制?”

为了解决这一挑战,我们提出了一个新的通用的GCN模型,即UGCN,针对一般的网络数据。其中心思想是,我们通过充分利用来自1跳、2跳和KNN邻居的信息来学习节点嵌入,并自适应地融合它们,为给定的学习目标获得更深层次的相关信息。具体来说,我们首先引入了一种多类型的卷积机制。它使用1跳网络(即原始输入网络)、2跳网络和由1跳、2跳和kNN邻居构建的网络分别进行直接信息传播,并对每个网络采用节点级注意机制,提取三种特定的嵌入。然后,我们进行区分聚合来了解这三种嵌入的重要性,从而提取出最相关的信息,如节点分类。

在一系列基准数据集上的大量实验证明了UGCN优于一些先进的技术。

② 观察&动机

在这里,我们提出了一个简单而直观的案例研究来说明和分析不同传播机制下的GCN变化的性能。其主要思想是将GCN应用于具有不同结构属性的网络,利用1跳节点、2跳节点和k最近邻(kNN)邻居,它们通常被认为是网络中节点分类的有效邻域,分别实现信息的传播。然后,我们将检查GCN在这些情况下的性能。通用传播机制应该在一般网络数据中提供良好的结果。然而,如果与其他两种情况相比,性能急剧下降,这将表明具有不同结构属性的网络可能需要使用不同的传播机制。

实验设置:

  • 我们在具有不同性质的Newman人工网络上进行了实验。该网络由128个节点组成,分为4类,每个节点平均有 z i n z_{in} zin个边(即类内边)连接到同一类的节点, z o u t z_{out} zout个边(即类间边)连接到其他类的节点,且 z i n + z o u t = 16 z_{in}+z_{out}=16 zin+zout=16。请注意,这里我们利用两个指标: ρ i n = z i n / 32 ρ_{in}=z_{in}/32 ρin=zin/32 ρ o u t = z o u t / 96 ρ_{out}=z_{out}/96 ρout=zout/96来确定网络属性,即 ρ i n > ρ o u t ρ_{in}>ρ_{out} ρin>ρout ρ i n = ρ o u t ρ_{in}=ρ_{out} ρin=ρout ρ i n < ρ o u t ρ_{in}<ρ_{out} ρin<ρout分别是指具有同配性、随机性和异配性的网络。
  • 对于节点属性,我们为每个节点生成一个4h维的二进制属性,形成4个属性簇,对应于4个类。

图1:GCN在Newman网络上分别使用不同的传播机制:1-hop、2-hop、kNN邻居作为邻域的性能。

在这里插入图片描述

如图1所示,对于具有较强同配性的网络(如 ρ o u t = 0.075 ρ_{out}=0.075 ρout=0.075),使用1-hop邻居更容易获得较高的精度。然而,随着类间边的增加,精度迅速降低。这主要是由于同质性假设阻止了GCN有效地融合信息。另一方面,对于具有强异配性的网络(如 ρ o u t = 0.165 ρ_{out}=0.165 ρout=0.165),令人惊讶的是,使用2-hop邻居作为邻域的GCN精度(如83.15%)远高于使用1-hop邻居的GCN精度(如32.85%)。由于2-hop邻居的同质性比例可能随着类间边的增加而增加,因此使用2-hop邻居的GCN在一定程度上更有效。有趣的是,我们可以发现利用kNN的GCN更容易获得稳定精度,如71.46%。特别是,它比在完全随机网络上(如 ρ o u t = 0.125 ρ_{out}=0.125 ρout=0.125)使用1-hop和2-hop邻居要高得多。

**结论:**本案例研究表明,目前GCN的传播机制对于一般的网络数据并不普遍,但我们可以发现在几种特殊情况下(如完全随机网络)存在规律。这促使我们认为,具有不同结构属性的网络可能需要采用不同的传播机制。

我们利用GCN对具有完全同配性、随机性和完全异配性的Newman网络进行了额外的实验,以发现更适合的传播机制来选择有价值的节点作为邻域,从而提高不同网络的网络性能。一个简单的策略是学习针对不同的GCN使用不同类型邻域的节点的网络嵌入(即1-hop、2-hop和kNN邻居),并将嵌入连接到一个向量,以便使用鉴别聚合机制(discriminative aggregation mechanism)来学习节点分类的重要性。我们在图2中显示了注意力值作为训练迭代次数的函数。

图2:一个例子,说明了三种不同类型的邻居即1-hop、2-hop和kNN邻居)的重要性随着网络属性的变化而变化。A-C的上半部分分别表示具有完全同配性、随机性和完全异配性的网络;而下半部分表示注意值(attention values)作为相应网络中训练迭代次数的函数。

在这里插入图片描述

  • 观察A:具有完全同配性的网络利用1-hop邻居进行直接信息传播,可以获得更好的性能。
  • 观察B:利用kNN进行直接信息传播,可以获得更好的性能。
  • 观察C:具有完全异配性的网络利用2-hop邻居进行直接信息传播,可以获得更好的性能。

虽然具有不同结构属性的网络利用不同的传播机制提供更好的性能,但现实世界的网络是复杂的,可能表现出不同的特性,例如,以同配性为主的网络可能包含少量的异配性。因此,探索一种独立于网络结构假设的通用传播机制是非常必要的。

2、UGCN原理
① 多类型卷积机制(Multi-type Convolution Mechanism)
  • 作者提出了一种新的卷积机制,用于捕获来自2-hop和kNN邻居的信息。
  • 构建了基于原始输入网络的2-hop网络( G R G_R GR)和基于节点特征矩阵的kNN网络( G F G_F GF)。
  • 描述了如何使用2-hop网络和kNN网络进行信息传递,并使用节点级注意力机制来提取特定嵌入。
② 2-hop网络
  • 为了处理2-hop网络的邻接矩阵,作者引入了一个约束,选择通过至少两条不同路径连接的节点对来设置边。
  • 使用经典的两层GCN在2-hop网络上执行消息传递。
③ kNN网络
  • 使用余弦相似度计算节点间的相似性矩阵,然后基于相似性选择每个节点的k个最近邻。
  • 描述了如何通过选择节点对来获得邻接矩阵,并计算从kNN获得的信息。
④ 节点级注意力(Node-level Attention)
  • 在聚合来自原始输入网络、2-hop网络和kNN网络的信息之前,使用节点级注意力机制来学习每个节点的网络邻居对目标节点嵌入的贡献度。
  • 定义了节点对之间的重要性系数,并使用Softmax函数来计算权重。
⑤ 判别式聚合(Discriminative Aggregation)
  • 在多类型卷积之后,作者执行力一种判别式聚合,使用注意力机制自动学习1-hop、2-hop和kNN邻居的重要性。
  • 描述了如何计算每个网络的注意力值,并通过Softmax函数进行归一化以获得最终权重。
⑥ 损失函数
  • 遵循GCN的做法,定义了使用交叉熵的损失函数。

这一部分和核心贡献是提出了一种新的GCN模型,该模型不依赖于网络的结构假设,能够自适应地从1-hop、2-hop和kNN邻居中提取和融合信息,以提高在不同类型网络上的性能。

3、实验

节点分类的实验结果:

在这里插入图片描述

消融实验的实验结果:

在这里插入图片描述

其中,U-GCN-1采用2-hop邻居进行直接传播,U-GCN-2采用kNN邻居进行直接传播,U-GCN-3相比于U-GCN删除了2-hop的邻居信息。

4、启发&心得

【UGCN】算法特别简单,感觉这篇文章发在NeurIPS上有点水,但因为是2021年,刚开始出现异配图神经网络的研究,实验结果也还不错,因此引用量还比较多。赶早发paper就是好啊。

本文的理论部分非常简单,简单地说就是判断学习1-hop邻居、2-hop邻居和kNN邻居哪一个可以获得更高的预测精度,然后给这些信息分配权重再进行预测(没看这篇paper的时候我们也想到了,可恶)。需要注意的是这里的kNN邻居不是k-hop邻居,而是“使用余弦相似度计算节点间的相似性矩阵,然后基于相似性选择每个节点的k个最近邻。”

5、参考资料
  • kimi:https://kimi.moonshot.cn/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/735085.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

怎么优化ArcEngine组件开发mfc程序界面?

&#x1f3c6;本文收录于「Bug调优」专栏&#xff0c;主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案&#xff0c;希望能够助你一臂之力&#xff0c;帮你早日登顶实现财富自由&#x1f680;&#xff1b;同时&#xff0c;欢迎大家关注&&收藏&&…

【Linux详解】缓冲区优化 | 进度条的实现 | Linux下git 的上传

目录 一. 缓冲区 1. 缓冲区概念 2. 缓冲区作用 2.1 提升读写效率 2.2 减少等待时间 3. 缓冲区刷新策略 3.4 特殊策略 4. 缓冲区存储位置 5. 总结 二. 实现进度条 引入&#xff1a;倒计时 process.c 三. Linux下git的上传 sum 一. 缓冲区 1. 缓冲区概念 缓冲区是…

数据库设计文档编写

PS&#xff1a;建议使用第三种方法 方法1&#xff1a;使用 Navicat 生成数据库设计文档 效果 先看简单的效果图&#xff0c;如果效果合适&#xff0c;大家在进行测试使用&#xff0c;不合适直接撤退&#xff0c;也不浪费时间。 随后在docx文档中生成目标字段的表格&#xf…

【必看】每个开发人员都应该知道的 10 个 GitHub 库

GitHub&#x1f31f;&#xff1a;155K 被难题困住了&#xff1f;还是需要一些建议来指导你进入开发者行业&#xff1f;这个 仓库 将为你提供帮助。它拥有想要成为前端、后端或 DevOps 工程师需要的所有技术。你可以选择符合需求的或适合自己的&#xff0c;因为它提供了多种多…

npm全局安装依赖指定存放文件目录

引言 学校机房&#xff0c;每次默认在c盘装完 电脑关机重启都得重新安装&#xff0c;十分麻烦 1-创建依赖安装/缓存目录 2-打开终端输入设置安装目录位置的命令 npm set cache \你创建的缓存文件目录\ npm set prefix \你创建的global全局安装依赖文件目录\至此以后npm -g 依…

ChatGPT-4o也参加高考了,还写了六大考卷的全部作文! |【WeThinkIn出品】

写在前面 【WeThinkIn出品】栏目专注于分享Rocky的最新思考与经验总结&#xff0c;包含但不限于技术领域。欢迎大家一起交流学习&#x1f4aa; 欢迎大家关注Rocky的公众号&#xff1a;WeThinkIn 欢迎大家关注Rocky的知乎&#xff1a;Rocky Ding AIGC算法工程师面试面经秘籍分享…

腰背肌筋膜炎怎么治疗最有效

腰背肌筋膜炎的治疗方法主要包括以下几种&#xff1a; 1、休息和物理治疗&#xff1a; 确保充足的休息&#xff0c;避免过度劳累&#xff0c;减少腰背部肌肉的负担。 物理治疗&#xff0c;如热敷或冷敷&#xff0c;可以缓解疼痛和肌肉紧张。热敷可以使用热水袋、热毛巾或电热垫…

SyntaxWarning警告

为什么conda环境运行hipcc vector_add.cpp -o vector_add -v会出现&#xff1a; SyntaxWarning: invalid escape sequence \w staticVars(search_namere.compile("gfx[0-9a-fA-F](:[-:\w])?")) SyntaxWarning: invalid escape sequence \A line_search_term re…

React 中的服务器渲染组件

在前后分离架构以前&#xff0c;所有的 Html 业务都是后端渲染&#xff0c;返回前前端显示&#xff0c;后端渲染把前后端逻辑耦合在一起&#xff0c;增大系统的复杂度&#xff0c;不易于扩展。React 中的 Server组件&#xff0c;准确的说是服务器进行渲染&#xff0c;无论是什么…

【笔记】事务隔离级别以及MVCC解决幻读

事务提交可能碰到的问题&#xff1a; &#xff08;1&#xff09;脏读&#xff1a;事务1对数据进行修改但还没提交&#xff0c;事务2读取修改后的数据&#xff0c;之后事务1执行错误&#xff0c;回滚了&#xff0c;此时事务2的数据是错误的脏数据。 &#xff08;2&#xff09;不…

Pytest框架中pytest.mark功能

文章目录 mark功能 1. 使用pytest.mark.skip 2. 使用pytest.mark.skipif 3. 使用 pytest.mark.xfail 4使用pytest.mark.parametrize 5 使用pytest.mark.自定义标记 6 使用pytest.mark.usefixtures pytest 的mark功能在pytest官方文档是这样解释的&#xff1a; https://…

02--MySQL数据库概述

目录 第10章 子查询 10.1 SELECT的SELECT中嵌套子查询 10.2 SELECT的WHERE或HAVING中嵌套子查询 10.3 SELECT中的EXISTS型子查询 10.4 SELECT的FROM中嵌套子查询 第11章 MySQL支持的数据类型 11.1 数值类型:包括整数和小数 1、整数类型 2、bit类型 3、小数类型 11.2…

CSDN使用

注意群和其他广告提示。 审核不通过原因&#xff1a; 版权 广告

期货交易纪律2024年6月22号

文章目录 期货交易系统构建第一步、选品第二步、开仓纪律第三步、持仓 2024年6月22号&#xff0c;开始写期货交易的第三篇日记。 交易记录&#xff1a;市场继续震荡&#xff0c;这两天无交易&#xff0c;继续梳理一些期货交易选品&#xff0c;周末详细的了解了一下豆粕&#xf…

音频数据集1--LJSpeech单人语音

LJ Speech Dataset 版本号: 1.1 , 文件大小: 2.6GB 1.简介 1. 1 内容简介 LJS是一个语音数据集&#xff0c;包含 13,100 个音频片段&#xff0c;内容为Linda Johnson(欧美女性)朗读的 7 本书籍段落(非小说类)。每个片段都提供文本转录&#xff0c;片段长度从 1 到 10 秒不等&…

Java基础的重点知识-05-Scanner、Random、ArrayList类

文章目录 Scanner类Random类ArrayList类 Scanner类 一个可以解析基本类型和字符串的简单文本扫描器。 当我们要使用一个java.uitl包中的类的时候我们就需要导包。 想要用什么类就要进行导包 import java.util.Scanner;public class Main {public static void main(String[] …

学习笔记——路由网络基础——路由转发

六、路由转发 1、最长匹配原则 最长匹配原则 是支持IP路由的设备默认的路由查找方式(事实上几乎所有支持IP路由的设备都是这种查找方式)。当路由器收到一个IP数据包时&#xff0c;会将数据包的目的IP地址与自己本地路由表中的表项进行逐位(Bit-By-Bit)的逐位查找&#xff0c;…

实战篇:GY-906红外测温模块 + 万年历(定时器计数中断版本) -STM32篇

本文章基于兆易创新GD32 MCU所提供的2.2.4版本库函数开发 向上代码兼容GD32F450ZGT6中使用 后续项目主要在下面该专栏中发布&#xff1a; https://blog.csdn.net/qq_62316532/category_12608431.html?spm1001.2014.3001.5482 感兴趣的点个关注收藏一下吧! 电机驱动开发可以跳转…

Attention系列总结-粘贴自知乎

1. 梦想做个翟老师&#xff1a;阿里&#xff1a;Behavior Sequence Transformer 解读48 赞同 7 评论文章 优点:捕捉用户行为历史序列中的顺序信息。w2v也是捕捉用户序列信息的,本质差异在于啥&#xff1f; 添加图片注释&#xff0c;不超过 140 字&#xff08;可选&#xff0…

如何在 Ubuntu 12.04 VPS 上安装和配置基本的 LDAP 服务器

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站。 简介 LDAP&#xff08;轻量级目录访问协议&#xff09;是一种通过文件和目录层次结构管理相关信息的协议&#xff0c;它可以从集中位置管…