【论文导读】- Variational Graph Recurrent Neural Networks(VGRNN)

文章目录

  • 文章信息
  • 摘要
  • Background
    • Graph convolutional recurrent networks (GCRN)
    • Semi-implicit variational inference (SIVI)
  • Variational graph recurrent neural network (VGRNN)
    • VGRNN model
    • Semi-implicit VGRNN (SI-VGRNN)

文章信息

Variational Graph Recurrent Neural Networks(VGRNN)
在这里插入图片描述

原文地址:Variational Graph Recurrent Neural Networks(VGRNN):https://arxiv.org/abs/1908.09710
源码: https://github.com/VGraphRNN/VGRNN

摘要

Representation learning over graph structured data has been mostly studied in static graph settings while efforts for modeling dynamic graphs are still scant. In this paper, we develop a novel hierarchical variational model that introduces additional latent random variables to jointly model the hidden states of a graph recurrent neural network (GRNN) to capture both topology and node attribute changes in dynamic graphs. We argue that the use of high-level latent random variables in this variational GRNN (VGRNN) can better capture potential variability observed in dynamic graphs as well as the uncertainty of node latent representation. With semi-implicit variational inference developed for this new VGRNN architecture (SI-VGRNN), we show that flexible non-Gaussian latent representations can further help dynamic graph analytic tasks. Our experiments with multiple real-world dynamic graph datasets demonstrate that SI-VGRNN and VGRNN consistently outperform the existing baseline and state-of-the-art methods by a significant margin in dynamic link prediction.

对图结构化数据的表示学习主要在静态图设置中进行研究,而对动态图进行建模的努力仍然很少。在本文中,我们开发了一种新颖的分层变分模型,该模型引入了额外的随机变量来联合建模图递归神经网络(GRNN)的隐藏状态,以捕获拓扑和节点属性变化的非动态图。我们认为,在这个变分GRNN(VGRNN)中使用高级潜在随机变量可以更好地捕获动态图中观察到的潜在变异性以及节点潜在表示的不确定性。通过为这种新的VGRNN架构(SI-VGRNN)开发的半隐式变分推理,我们表明灵活的非高斯潜在表示可以进一步帮助动态图分析任务。我们使用多个真实世界动态图数据集的实验表明,SI-VGRNN 和 VGRNN 在动态链接预测方面始终优于现有的基线和最先进的方法。

Background

Graph convolutional recurrent networks (GCRN)

GCRN用于对静态图节点上定义的时间序列数据进行建模。视频中的一系列帧和传感器网络上的时空测量是此类数据集的两个示例。GCRN将图卷积网络(GCN)与循环神经网络(RNN)相结合,以捕获数据中的空间和时间特征。更准确地说,给定一个具有 N 个节点的图 G,其拓扑由邻接矩阵 A 确定,节点属性序列 在这里插入图片描述,GCRN 读取 M 维节点属性在这里插入图片描述并对每个时间步 t 更新其隐藏状态 ht:
在这里插入图片描述
这里 f 是一个非概率深度神经网络。它可以是任何递归网络,包括门控激活函数,如长短期记忆(LSTM)或门控循环单元(GRU),其中它们内部的深层被图卷积层取代。GCRN 通过将联合概率分布的因式分解参数化为条件概率的乘积来对节点属性序列进行建模。
在这里插入图片描述由于转移函数f的确定性,这里映射函数g的选择有效地定义了联合概率分布sp(X(1), X(2), . . , X(T )|A)可以用标准GCRN表示。对于高度可变的序列,这可能会有问题。更具体地说,当 X 的变异性很高时,模型试图在隐藏状态 h 中映射这种变异性,从而导致 h 的潜在高变异,进而导致训练数据的过度拟合。因此,GCRN并不完全能够对具有高变异的序列进行建模。自回归模型的这一基本问题已通过向模型引入随机隐藏状态来解决非图结构数据集。

在本文中,我们将GCN和RNN集成到一个图RNN(GRNN)框架中,这是一个动态图自动编码器模型。虽然GCRN旨在对静态图上定义的动态节点属性进行建模,但GRNN可以在不同的时间快照获得不同的邻接矩阵,并通过在隐藏状态ht上采用内积解码器在时间t重建图。更具体地说,ht可以看作是动态图在时间t的节点嵌入。为了进一步提高GRNN的表达能力,我们通过结合GRNN和变分图自动编码器(VGAE)来引入随机潜在变量。这样,我们不仅可以在不假设平滑性的情况下捕获图之间的时间依赖关系,而且每个节点都用潜在空间中的分布表示。此外,VGRNN中设计的先前构造使其能够预测未来时间步中的链接。

Semi-implicit variational inference (SIVI)

SIVI已被证明可以有效地学习具有偏度、峰度、多模态和其他特征的后验分布,而现有的变分推理方法无法捕捉到这些特征。为了表征潜在的后验q(z|x),SIVI在原始后验分布的参数上引入了混合分布,以扩展具有分层结构的变分族:z ∼ q(z|ψ)与ψ ∼ qφ(ψ)。φ表示要推断的分布参数。虽然原始后验q(z|ψ)需要具有解析形式,但其混合分布不受这种约束,因此边际后验分布通常是隐含的,没有解析密度函数更具表现力。层次结构的边缘是隐式的也很常见,即使后验分布和混合分布都是显式的。我们将SIVI集成到我们的新模型中,为动态图推断更灵活和可解释的节点嵌入。

Variational graph recurrent neural network (VGRNN)

我们考虑一个动态图G = {G(1), G(2), . . . , G(T )},其中G(t)= (V(t), E(t))是时间步长t的图,V(t)和E(t)分别是相应的节点和边集。在本文中,我们旨在开发一个与节点和边缘集中的潜在变化普遍兼容的模型。(V(t),E(t))(V(t 1),E(t 1))之间的关系没有约束,即新节点可以加入动态图并创建现有节点的边,或者以前的节点可以从图中消失。

另一方面,快照之间可以形成新的边,而现有边可以消失。设 Nt 表示节点的数量,即 V(t) 在时间步长 t 的基数。因此,VGRNN可以将可变长度邻接矩阵序列A = {A(1), A(2), . . . , A(T )}作为输入。此外,在考虑节点属性时,可以在不同的快照上观察到不同的属性,具有可变长度节点属性序列 X = {X(1), X(2), . . . , X(T )}。请注意,A(t) 和 X(t)分别是 Nt × Nt 和 Nt × M 矩阵,其中 M 是节点属性的维度,该维度随时间变化是恒定的。受变分递归神经网络(VRNN)的启发,我们通过集成GRNN和VGAE来构建VGRNN,以便充分和同时地对拓扑和节点属性动力学之间的复杂依赖关系进行建模。此外,每个节点在每个时间都用分布表示,因此在VGRNN中也对节点潜在表示的不确定性进行了建模。

VGRNN model

在这里插入图片描述

VGRNN 模型采用 VGAE 对每个图形快照进行建模。VGAEs在时间范围内以状态变量ht−1为条件,由GRNN建模。这样的架构设计将帮助每个VGAE考虑动态图的时间结构。更重要的是,与标准VGAE不同,VGRNN中的VGAE通过允许分布参数通过前一个时间步的信息的显式或隐式复杂函数进行建模,从而在潜在随机变量上采用新的先验。更具体地说,VGRNN 中的 VGAE 不是强加具有确定性参数的标准多元高斯分布,而是根据先前时间步中的隐藏状态学习先验分布参数。因此,我们的VGRNN允许更灵活的潜在表示,具有更大的表达能力,可以捕获拓扑和节点属性演化过程之间和内部的依赖关系。特别是,我们可以将实验中采用的先验分布的构造写成如下:
在这里插入图片描述其中,在这里插入图片描述在这里插入图片描述
表示条件先验分布的参数。

此外,生成分布将以在这里插入图片描述为条件:
在这里插入图片描述

其中π(t)表示生成分布的参数;φprior和φdec可以是任何高度灵活的函数,例如神经网络。

另一方面,骨干GRNN可以灵活地对复杂的依赖关系进行建模,包括图拓扑动力学和节点属性动力学。GRNN 使用递归方程更新其隐藏状态:
在这里插入图片描述
其中 f 最初是方程 (1) 的转移函数。与GRNN不同,图拓扑可以在不同的时间步长中发生变化,就像在现实世界的动态图中一样,并且邻接矩阵A(t)在VGRNN中是时间相关的。为了进一步增强表达能力,φx和φz为深度神经网络,它们在每个节点上独立运行,并分别从X(t)和Z(t)中提取特征。这些特征提取器对于学习复杂的图形动力学至关重要。基于 (4),ht 是 A≤(t)、X≤(t) 和 Z≤(t) 的函数。因此,方程 (2) 和 (3) 中的先验分布和生成分布分别定义了分布在这里插入图片描述在这里插入图片描述。生成模型可以分解为
在这里插入图片描述其中第一个快照的先验被认为是标准多元高斯分布,即在这里插入图片描述。此外,如果在快照 t 处将一个以前未观察到的节点添加到图中,我们认为该节点在快照 t − 1 处的隐藏状态为零,因此该节点在时间 t 处的先验状态为 N (0, I)。如果发生节点删除,我们假设节点的标识可以保持,因此删除一个节点,相当于删除了与其连接的所有边,不会影响下一步的先前构造。更具体地说,A和X的大小可以随时间变化,而它们的潜在空间会随时间而保持。

Semi-implicit VGRNN (SI-VGRNN)

为了进一步提高VGRNN变分后验的表达能力,我们引入了aSI-VGRNN动态节点嵌入模型。我们对 (8) 中的变分分布参数施加了混合分布,以使用半隐式分层结构对 VGRNN 的后验进行建模:
在这里插入图片描述虽然变分分布 q(Z(t)| ψt)需要显式,但混合分布 qφ 不受这种约束,导致相当灵活的 Eψt∼qφ(ψt|A(t),X(t),ht−1)(q(zt|ψt))。更具体地说,SI-VGRNN 通过图形神经网络转换随机噪声 t 从 qφ 中提取样本,这通常会导致 qφ 的隐式分布。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/34571.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

STM32 串口代码配置

一、首先开发板上关于串口1的引脚配置已经配置好了,位置在SYSTEM的 usart.c 文件中(注意:只配置了串口1的,其他使用时需要自己配置) 重要的是明白配置的参数都是什么意思,针对实现不同的串口功能有什么影响…

选择高考志愿:聚焦计算机科学与技术,规避土木工程

选择高考志愿:聚焦计算机科学与技术,规避土木工程 高考季已至,各地高考成绩陆续公布,许多毕业生和家长开始面临疑惑:如何填报志愿、选专业还是选学校、什么专业好就业?张雪峰曾提到:“普通家庭…

从零开始 Spring Boot 60:一个实体映射到多个表

从零开始 Spring Boot 60:一个实体映射到多个表 图源:简书 (jianshu.com) 在之前的文章中我们讨论了 JPA 中的一对一关系,实际上存在一种特殊的一对一关系,即将一个实体映射到多张表,本文会讨论这种关系。 我之前提过…

如何将采购报价请求流程自动化?

在当今快节奏的商业环境中,效率和速度是保持竞争力的关键。在采购管理中,企业经常为简化操作而努力的一个领域是报价请求过程。手动处理请求、与供应商沟通并跟踪答复,可能非常耗时且容易出错。 然而,随着像8Manage SRM等专业电子…

Excelize 是 Go 语言编写的用于操作 Office Excel 文档基础库

介绍 Excelize 是 Go 语言编写的用于操作 Office Excel 文档基础库,基于 ECMA-376,ISO/IEC 29500 国际标准。可以使用它来读取、写入由 Microsoft Excel™ 2007 及以上版本创建的电子表格文档。支持 XLAM / XLSM / XLSX / XLTM / XLTX 等多种文档格式&a…

Git下载与安装(windows)

文章目录 Git 简介Git 下载Git 安装Git 环境变量配置 Git 简介 Git 是一种分布式版本控制系统,用于快速、高效地处理任何大小规模的项目。它是由 Linus Torvalds 在 2005 年开始开发的,Git 最初是为了管理 Linux 内核源代码而创建的。现在 Git 是一个广…

Spring 是什么框架?

对于一门技术,我们需要从为什么要学、学什么以及怎么学这三个方向入手来学习。那在说Spring这三点之前,我们先看Spring之前要学什么。 Java基础、Java语法进阶、MySQL基础操作、MySQL数据库设计和多表操作、JDBC、Maven基础、MyBatis、HMLCSS、JavaScrip…

PCA主成分分析

PCA降维算法 目前图像特征的提取主要有两种方法:传统图像特征提取方法 和 深度学习方法。 传统的特征提取方法:基于图像本身的特征进行提取(PCA);深度学习方法:基于样本自动训练出区分图像的特征分类器&a…

SpringBoot--超时熔断器

需求背景 如果一个服务中有很多涉及需要服务间熔断的地方,就会出现N多下述代码: 1.N个fegnClient接口 FeignClient(name "hello-world-service", fallback HelloWorldFallback.class) public interface HelloWorldService {GetMapping(&q…

Python 学习之NumPy(一)

文章目录 1.为什么要学习NumPy2.NumPy的数组变换以及索引访问3.NumPy筛选使用介绍筛选出上面nb数组中能被3整除的所有数筛选出数组中小于9的所有数提取出数组中所有的奇数数组中所有的奇数替换为-1二维数组交换2列生成数值5—10,shape 为(3,5)的二维随机浮点数 NumP…

Apache Doris (十七) :Doris分区和分桶3-分桶及建议

​​​目录 一、分桶Bucket ​​​​​​​二、分区和分桶数量和数据量的建议 进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容! 一、分桶Bucket Doris数据表存储中,如果有分区&…

使用docker搭建mysql集群

一、技术架构 1、架构图 2、解说 mysql_1、mysql_2、mysql_3是一组主从模式,同理mysql_4、mysql_5、mysql_6也是一组主从模式从上面的图可以看出mysql_1和mysql_4是主节点,可以进行增删改查操作,但是子几点只能查询操作如果mysql_1节点出现问题了,有mysql_4节点组…

SDK和API是什么?SDK和API的区别与联系

目录 💌 SDK和API是什么? SDK API 💌 SDK和API的区别 💌 该如何选择 API 和 SDK 对接? 💌 SDK和API是什么? SDK SDK的概念:软件开发工具包(全称:Softwa…

黑盟菜鸟剪辑短视频助手是什么

今天我们来讲一下视频综合处理功能,首先我们来打开软件主界面,通过模块化功能合集视频综合处理进入我们的这个功能。首先我们来看一下功能的布局,左边是导入视频的地方,右边是功能区,这里总共包括 32 种功能&#xff0…

计算机基础--->数据结构(6)【AVL树(平衡二叉树)】

文章目录 AVL(平衡二叉树)树性质AVL树的操作(Java)节点的创建AVL树的插入1.判断平衡2.保持树的平衡3.判断是否AVL树4.删除节点 全部代码 AVL(平衡二叉树)树 平衡二叉树是一种特殊的二叉搜索树,他…

【nav_msgs/Path.h发布路径】

#include <nav_msgs/Path.h> 是一个 ROS (Robot Operating System) 中的包含文件。它是用于包含 nav_msgs/Path 消息类型的头文件,这是一个标准的 ROS 消息类型。 nav_msgs/Path 消息类型常用于机器人导航系统中,以表示路径。这种路径通常由一系列的位置点组成,这些点…

解决:yarn 无法加载文件 “C:\Users\admin\AppData\Roaming\npm\yarn.ps1,因为在此系统上禁止运行脚本“ 的问题

1、问题描述&#xff1a; 其一、报错的整体代码为&#xff1a; yarn : 无法加载文件 C:\Users\admin\AppData\Roaming\npm\yarn.ps1&#xff0c;因为在此系统上禁止运行脚本 // 整体的报错代码为 &#xff1a; yarn : 无法加载文件 C:\Users\admin\AppData\Roaming\npm\yar…

Linux环境搭建(三)— 搭建数据库服务器

linux &#xff08;ubuntu&#xff09;安装mysql 和环境配置 一、安装MySql二、配置环境三、外网访问四、重置密码五、卸载 写在前面&#xff1a; 本文默认你的Linux系统已经安装vim&#xff0c;yum等&#xff0c;如你使用的是一个全新的操作系统&#xff0c;移步上一篇开始配置…

迪赛智慧数——柱状图(象形动态图):高考填报专业考虑的因素

效果图 填报志愿是高考后的一大重要环节&#xff0c;你的职业生涯就在这里起航了。那么&#xff0c;应该怎么填报志愿呢&#xff1f;高考填报专业考虑的因素很多&#xff0c;过半的人会考虑专业就业前景及薪资&#xff0c;其次是个人兴趣和是否为双一流建设学科。 数据源&…

基于深度学习的高精度动物园动物检测识别系统(PyTorch+Pyside6+YOLOv5模型)

摘要&#xff1a;基于深度学习的高精度动物园动物&#xff08;水牛、斑马、大象、水豚、海龟、猫、奶牛、鹿、狗、火烈鸟、长颈鹿、捷豹、袋鼠、狮子、鹦鹉、企鹅、犀牛、羊、老虎&#xff09;检测识别系统可用于日常生活中或野外来检测与定位动物园动物&#xff0c;利用深度学…