[论文精读]Variational Graph Auto-Encoders

论文网址:[1611.07308] Variational Graph Auto-Encoders (arxiv.org)

英文是纯手打的!论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误,若有发现欢迎评论指正!文章偏向于笔记,谨慎食用

目录

1. 省流版

1.1. 心得

1.2. 论文总结图

2. 论文逐段精读

2.1. A latent variable model for graph-structured data

2.2. Experiments on link prediction

3. Reference


1. 省流版

1.1. 心得

(1)好短的文章捏,只有两页

1.2. 论文总结图

2. 论文逐段精读

2.1. A latent variable model for graph-structured data

        ①Task: unsupervised learning

        ②Latent space of unsupervised VGAE in Cora, a citation network dataset:

        ③Definitions: for undirected and unweighted graph G=\left ( V,E \right ), the number of nodes N=\left | V \right |, the adjacency matrix with self-loop and the diagnal elements all set to 1defined as A, the degree matrix is \mathbf{D}, the stochastic latent variables is z_i \in \mathbb{R}^{1 \times F}\mathbf{Z}=\left [ z_1,z_2,...,z_N \right ] \in\mathbb{R}^{N \times F}, node feature matrix \mathbf{X} \in \mathbb{R}^{N \times D}(但是没说这个节点特征是啥,估计自己随便定义吧)

        ④Inference model:

q(\mathbf{Z}\mid\mathbf{X},\mathbf{A})=\prod_{i=1}^Nq(\mathbf{z}_i\mid\mathbf{X},\mathbf{A})

with q(\mathbf{z}_i\mid\mathbf{X},\mathbf{A})=\mathcal{N}(\mathbf{z}_i\mid\boldsymbol{\mu}_i,\mathrm{diag}(\boldsymbol{\sigma}_i^2))

where \boldsymbol\mu = \mathrm{GCN}_{\boldsymbol{\mu}}(\mathbf{X},\mathbf{A}) is the matrix of mean vectors \mu _i;

\log \boldsymbol \sigma = \mathrm{GCN}_{\boldsymbol{\sigma}}(\mathbf{X},\mathbf{A})为啥左边要有个log啊

        ⑤A 2 layer GCN:

\mathrm{GCN}(\mathbf{X},\mathbf{A})=\mathbf{\tilde{A}}\mathrm{ReLU}(\mathbf{\tilde{A}}\mathbf{X}\mathbf{W}_{0})\mathbf{W}_{1}

where \mathbf{W}_{i} denotes weight matrix, \mathbf{\tilde{A}}=\mathbf{D}^{-\frac{1}{2}}\mathbf{A}\mathbf{D}^{-\frac{1}{2}}

        ⑥\mathrm{GCN}_{\boldsymbol{\mu}}(\mathbf{X},\mathbf{A}) 和 \mathrm{GCN}_{\boldsymbol{\sigma}}(\mathbf{X},\mathbf{A})共享\mathbf{W}_{0}的参数???什么玩意儿??为啥有俩,是引用了之前的什么高斯吗?

        ⑦Generative model:

p\left(\mathbf{A}\mid\mathbf{Z}\right)=\prod_{i=1}^{N}\prod_{j=1}^{N}p\left(A_{ij}\mid\mathbf{z}_{i},\mathbf{z}_{j}\right)

with p\left(A_{ij}=1 | \mathbf{z}_i,\mathbf{z}_j\right)=\sigma(\mathbf{z}_i^\top\mathbf{z}_j)

where \sigma \left ( \cdot \right ) represents the logistic sigmoid function

        ⑧Loss function:

\mathcal{L}=\mathbb{E}_{q(\mathbf{Z}|\mathbf{X},\mathbf{A})}\big[\log p\left(\mathbf{A}\left|\mathbf{Z}\right)\right]-\mathrm{KL}\big[q(\mathbf{Z}\left|\mathbf{X},\mathbf{A}\right)\|p(\mathbf{Z})\big]

where Gaussian prior p(\mathbf{Z})=\prod_{i}p(\mathbf{z_{i}})=\prod_{i}\mathcal{N}(\mathbf{z_{i}} | 0,\mathbf{I})

        ⑨作者觉得对于非常稀疏的邻接矩阵A,在损失函数中重新加权a) A_{ij}=1的项,或b) A_{ij}=0的子样本项可能是有益的。然后它们选择了a) 方法。

        ⑩If there is no node features, replace \mathbf{X} by indentity matrix

        ⑪Reconstruct adjacency matrix by non-probabilistic graph auto-encoder (GAE) model:

\mathbf{\hat{A}}=\sigma(\mathbf{Z}\mathbf{Z}^\top) , \mathrm{with}\quad\mathbf{Z}=\mathrm{GCN}(\mathbf{X},\mathbf{A})

2.2. Experiments on link prediction

        ①Prediction task: randomly delete some edges and keep all the node features

        ②Validation/Test set: deleted edges and unconnected node pairs with the same number

        ③Connection contained: 5% for val set and 10% for test set

        ④Epoch: 200

        ⑤Optimizer: Adam

        ⑥Learning rate: 0.01

        ⑦Hidden dim: 32

        ⑧Latent variable dim: 16

        ⑨Embedding dim: 128

        ⑩Performance comparison table with mean results and std error for 10 runs:

where * means w/o node features

3. Reference

Kipf, T. N. & Welling, M. (2016) 'Variational Graph Auto-Encoders', NIPS. doi: https://doi.org/10.48550/arXiv.1611.07308

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/762225.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

炎黄数智人:国家体育总局冬运中心——AI裁判与教练“观君”赋能冰雪运动新篇章

在科技创新的浪潮下,国家体育总局冬季运动管理中心(以下简称“冬运中心”)揭开了人工智能在体育领域应用的新篇章。隆重宣布推出革命性的AI裁判与教练系统——“观君”,该系统将在冰雪运动项目中大放异彩,为运动员的训…

地下水电站3D虚拟仿真展示平台

借助先进的VR技术,我们将水电站的每一个角落、每一处细节都以三维全景的形式真实呈现。您可以自由穿梭于水电站的各个区域,无论是发电机组、巍峨的水坝,还是错综复杂的输水管道,都近在咫尺。感受水流的澎湃力量,聆听机…

python自动化之schedule

目录 代码(以每5秒1次为例): 每5分钟1次 每2小时1次 每天18:00执行 用到的库:schedule,time 实现的效果:按秒来运行任务,按分钟来运行任务,按小时来运行任务,按天来运行任务 代…

Canvas 指纹:它是什么以及如何绕过它

什么是 Canvas 指纹? 网络浏览器在执行其功能时会收集各种信息。当这些信息中的某些被用于识别网站用户时,这被称为浏览器指纹。 浏览器指纹包括以下有关浏览器的信息:设备型号、浏览器类型和版本、操作系统 (OS)、屏幕分辨率、时区、p0p 文…

预约小程序源码,云开发技术,无需服务器

介绍: 很多企业的业务都需要通过服务预约来完成,比如酒店、美容、家政等等。 但很多商家因缺少合适的服务预订工具,而不知道如何让客户尽快预约。 这种情况下,制作一个自己的预约小程序,客户只需要扫码或者在微信里…

工程化:Commitlint / 规范化Git提交消息格式

一、理解Commitlint Commitlint是一个用于规范化Git提交消息格式的工具。它基于Node.js,通过一系列的规则来检查Git提交信息的格式,确保它们遵循预定义的标准。 1.1、Commitlint的核心功能 代码规则检查:Commitlint基于代码规则进行检查&a…

销量位列第一!强力巨彩LED单元板成绩斐然

据全球知名科技研究机构Omdia《LED显示产品出货分析-中国-2023》报告显示,2023年强力巨彩LED显示屏销量与单元板产品销量均位列第一,其品牌和市场优势可见一斑。 厦门强力巨彩自2004年成立之初,便以技术创新和严格品控为核心竞争力&#xff0…

【Kaggle】Telco Customer Churn 电信用户流失预测案例

⭐️前言:案例学习说明与案例建模流程 我们将围绕Kaggle中的电信用户流失数据集(Telco Customer Churn)进行用户流失预测。在此过程中,将综合应用此前所介绍的各种方法与技巧,并在实践中提炼总结更多实用技巧。 ⭐️对…

智慧的网络爬虫之CSS概述

智慧的网络爬虫之CSS概述 ​ CSS 是“Cascading Style Sheet”的缩写,中文意思为“层叠样式表”,用于描述网页的表现形式。如网页元素的位置、大小、颜色等。css的主要作用是定义网页的样式。 CSS样式 1. 行内样式 行内样式:直接定义在 HT…

造一个交互式3D火山数据可视化

本文由ScriptEcho平台提供技术支持 项目地址:传送门 使用 Plotly.js 创建交互式 3D 火山数据可视化 应用场景 本代码用于将火山数据库中的数据可视化,展示火山的高度、类型和状态。可用于地质学研究、教育和数据探索。 基本功能 该代码使用 Plotly…

模型部署:C++libtorch实现全连接模型10分类和卷积模型ResNet18的四分类的模型部署推理

Clibtorch实现模型部署推理 模型 全连接模型:公开mnist手写识别数字的十分类卷积模型:自行采集的鲜花四分类 部署 语言环境:C 对比Python python是解释性语言,效率很慢,安全性很低 系统开发一般是java、C/C&…

昂科烧录器支持BPS晶丰明源半导体的多相Buck控制器BPD93004E

芯片烧录行业领导者-昂科技术近日发布最新的烧录软件更新及新增支持的芯片型号列表,其中BPS晶丰明源半导体的多相Buck控制器BPD93004E已经被昂科的通用烧录平台AP8000所支持。 BPD93004E是一款多相Buck控制器,支持原生1~4相,数字方式控制&am…

麒麟桌面操作系统上解决任务栏消失问题

原文链接:麟桌面操作系统上解决任务栏消失问题 Hello,大家好啊!今天给大家带来一篇关于在麒麟桌面操作系统上解决任务栏消失问题的文章。任务栏是我们日常操作系统使用中非常重要的部分,它提供了快速访问应用程序和系统功能的便捷…

OpenBayes 教程上新 | CVPR 获奖项目,BioCLlP 快速识别生物种类,再也不会弄混小浣熊和小熊猫了!

市面上有很多植物识别的 App,通过对植物的叶片、花朵、果实等特征进行准确的识别,从而确定植物的种类、名称。但动物识别的 App 却十分有限,这使我们很难区分一些外形相似的动物,例如小浣熊和小熊猫。 左侧为小浣熊,右…

VBA数据库解决方案第十二讲:如何判断数据库中数据表是否存在

《VBA数据库解决方案》教程(版权10090845)是我推出的第二套教程,目前已经是第二版修订了。这套教程定位于中级,是学完字典后的另一个专题讲解。数据库是数据处理的利器,教程中详细介绍了利用ADO连接ACCDB和EXCEL的方法…

C++ | Leetcode C++题解之第207题课程表

题目&#xff1a; 题解&#xff1a; class Solution { private:vector<vector<int>> edges;vector<int> indeg;public:bool canFinish(int numCourses, vector<vector<int>>& prerequisites) {edges.resize(numCourses);indeg.resize(numCo…

为什么越来越多的人选择做债务重组?

说到债务重组&#xff0c;很多人可能一头雾水。但简单来说&#xff0c;就是帮你优化债务结构&#xff0c;减轻还款压力。 为什么现在这么多人会选择做债务重组&#xff1f; 保护工作和名声&#xff1a;有些在好单位上班的人&#xff0c;怕债务问题影响工作&#xff0c;不想让单…

浅谈定时器之BeanShell 定时器

浅谈定时器之BeanShell 定时器 在进行性能测试和负载测试时&#xff0c;JMeter 提供了多种定时器来模拟用户操作间的延迟&#xff0c;以更贴近真实世界的场景。BeanShell 定时器是其中一种高级且灵活的定时机制&#xff0c;允许用户通过BeanShell脚本来自定义延时逻辑。BeanSh…

电脑录音软件哪个好?7款录制音频工具大盘点,赶快学起来!(2024)

也许你渴望提取你最喜欢的节目的背景音乐&#xff0c;或者你希望录制自己的声音制作教程。如果是这样&#xff0c;你就需要一款优秀的电脑录音软件&#xff0c;来帮助你捕捉任何你想要的声音&#xff0c;而且不会损失音质。目前市场上存在着大量的录制音频工具&#xff0c;面对…

nccl 04 nvidia 官方小程序

1&#xff0c;代码重新编辑 为了地毯式地检查结果的正确性&#xff0c;这里修改了代码 主要步骤为 step1: data_p指向的空间中&#xff0c;分别生成随机数&#xff1b; step2: 分别拷贝到gpu的sendbuff的显存中&#xff1b; step3: 通过nccl_all_reduce sum&#xff1b;…