【传知代码】基于曲率的图重新布线(论文复现)

前言:在图形处理中,一个至关重要的问题是图形的重新布线,即在不改变图形基本结构的前提下,通过调整节点间的连接关系,使图形具有更好的性质,如更低的复杂度、更高的可视化效果或更强的鲁棒性。传统的图形重新布线方法往往依赖于直观的经验或简单的启发式算法,难以适应复杂多变的应用场景,近年来,基于曲率的图重新布线技术应运而生,为图形优化领域带来了新的曙光。与传统的方法相比,基于曲率的图重新布线技术更加注重图形局部的几何特性,通过计算节点的曲率来指导重新布线的过程。

本文所涉及所有资源均在传知代码平台可获取

目录

概述

演示效果

核心代码

写在最后


概述

        大部分的图神经网络(Graph Neural Networks GNN)采用消息传递模式,在这种模式下,节点的特性会在输入的图上进行传递。近期的科学研究揭示,来自遥远节点的信息丢失确实是影响依赖于远程交互任务的消息传输效率的一个关键因素。这种限制通常被命名为“过度挤压”(Over-squashing)。图中每个结点的k跳邻居数量会随着k的增加而指数级增加,这导致远距离结点的信息很难被压缩到固定大小的结点特征中,从而造成信息的丢失,这是过度挤压的原因,这里参考了一下这篇论文,地址 具体如下:

        这篇文章为我们提供了GNN中的过度挤压现象的详细描述,并探讨了它是如何从图表中的瓶颈问题中产生的。因此,本研究提出了一种创新的基于边的组合曲率方法,并成功证实了负曲率边是引发过度挤压问题的根本原因。此外,本文还介绍了一种利用曲率进行图重现布线的策略,旨在减轻过度挤压的问题,如下图所示,上图:曲面上曲率的演变可能会减少瓶颈。下图:本文展示了如何在图上做同样的事情来提高GNN的性能。蓝色代表负曲率;红色代表正曲率:

接下来对本次论文讲述的核心算法进行如下一个简单的讲解:

1)黎曼几何中的一个自然对象是里奇曲率(Ricci curvature),这是一种决定测地线色散的双线性形式,即从“相同”速度的附近点开始的测地线是否保持平行(欧几里得空间)、收敛(球面空间)或发散(双曲空间)。

2)算法在每次迭代中都会添加一条边来支持图中最负曲率的边,然后移除最正曲率的边。

3)要求k∈B1(i),l∈B1(j)k∈B1​(i),l∈B1​(j)是为了确保我们在最负曲率的边i∼ji∼j周围添加额外的3-cycle或4-cycle。这是一个局部修改。

4)原始输入图和重新布线图之间的图编辑距离以max number of iterations的2倍为界。

5)temperatureτ>0τ>0决定了添加边的随机程度,τ=∞τ=∞表示总是添加最佳边。

6)移除曲率最大的边是为了平衡曲率和结点的度的分布。

7)使用Balanced Forman curvature计算Ric(i,j)Ric(i,j)

8)optimal Ric upper-boundC+C+用于防止算法使得曲率分布负偏斜。C+=∞C+=∞表示不移除任何边。

如下图所示:

演示效果

本次代码支持Cora, Citeseer, Pubmed, Cornell, Texas, Wisconsin 脚本自动下载,如不能请参考geom-gcn ,这里不同数据集的配置文件位于./configs/。运行之前需要修改数据集根目录和输出目录:

output_dir: $OUTPUT_DIR$
data:
  root: $DATA_ROOT$

测试集和训练集可以采用下面的方式进行:

# train on train data splits
python train.py --config-file configs/*.yaml
# test on val and test data splits
python eval.py --config-file configs/*.yaml
// 或
search_dir=configs
for file in "$search_dir"/*
do
    python train.py --config-file $file
    python eval.py --config-file $file
done

运行结果可以参考下面的方式,运行日志、模型权重、重新布线结果保存在$OUTPUT_DIR/$DATASET_NAME/ 测试结果(accuracy)保存在./result.csv:

核心代码

下面这段代码实现了对图数据进行流形学习的过程,其中使用了 Ricci 曲率作为度量距离的方法。具体来说,代码实现了一个基于 Ricci 曲率的图形变形算法,即 SDRF(Spectral Deformation and Ricci Flow)算法,该算法主要包含以下步骤:

1)将 Pytorch Geometric 中的数据类型 Data 转换为 NetworkX 中的数据类型 DiGraph,方便后续的加边、减边操作。

2)获取图的邻接矩阵和边的个数。

3)进入图的加边、减边循环过程,其中 max_iterations 为最大迭代次数:

4)将 NetworkX 中的数据类型 DiGraph 转换为 Pytorch Geometric 中的数据类型 Data,并返回。

        其中,BFC 算法是一种计算曲率的方法,用于计算 Ricci 曲率矩阵。具体来说,它通过计算形式曲率和平衡形式曲率之间的差异来计算 Ricci 曲率。在算法中,balanced_forman_curvature 函数用于计算 Ricci 曲率矩阵,balanced_forman_post_delta 函数用于计算边添加之后对 Ricci 曲率的提升程度。

SDRF 算法是一种流形学习算法,用于在图数据中计算距离和相似度。通过迭代加边、减边的方法,SDRF 算法可以将图数据进行形变,从而使得距离和相似度更加符合实际情况,代码如下:
 

def sdrf(data, max_iterations=10, remove_edges=True, remove_bound=0.5, tau=1.0, undirected=True):
    # 1. 将torch_geometric.data.Data实例转化为networkx.DiGraph实例,方便后续加边、减边操作
    G = to_networkx(data)
    if undirected:
        G = G.to_undirected()
    
    # 2. 获取图信息(邻接矩阵,边的个数)
    edge_index = data.edge_index
    if undirected:
        edge_index = to_undirected(edge_index)
    A = to_dense_adj(remove_self_loops(edge_index)[0])[0]  # 邻接矩阵
    A = A.cuda()
    N = A.shape[0]  # 边的个数

    C = torch.zeros(N, N).cuda()  # 初始化Ricci曲率矩阵,即Ric(i, j)

    # 3. 进入图的加边、减边循环过程,其中max_iterations为最大迭代次数
    for x in range(max_iterations):
        can_add = True

        # 3.1 根据BFC算法更新Ricci曲率矩阵
        balanced_forman_curvature(A, C=C)

        ix_min = C.argmin().item()
        x = ix_min // N
        y = ix_min % N

        # 3.2 计算可加边的候选集candidates
        if undirected:
            x_neighbors = list(G.neighbors(x)) + [x]
            y_neighbors = list(G.neighbors(y)) + [y]
        else:
            x_neighbors = list(G.successors(x)) + [x]
            y_neighbors = list(G.predecessors(y)) + [y]
        candidates = []
        for i in x_neighbors:
            for j in y_neighbors:
                if (i != j) and (not G.has_edge(i, j)):
                    candidates.append((i, j))

        # 3.3 根据边添加之后对Ricci曲率的提升程度,从候选集中选择边k~l进行添加
        if len(candidates):
            D = balanced_forman_post_delta(A, x, y, x_neighbors, y_neighbors)
            improvements = []
            for i, j in candidates:
                improvements.append((D - C[x, y])[x_neighbors.index(i), y_neighbors.index(j)].item())

            k, l = candidates[np.random.choice(range(len(candidates)), p=softmax(np.array(improvements), tau=tau))]
            G.add_edge(k, l)  # 添加边
            if undirected:
                A[k, l] = A[l, k] = 1
            else:
                A[k, l] = 1
        else:
            can_add = False
            if not remove_edges:
                break

        # 3.4 移除具有最大Ricci曲率的边,其中remove_bound为曲率最大上界
        if remove_edges:
            ix_max = C.argmax().item()
            x = ix_max // N
            y = ix_max % N
            if C[x, y] > remove_bound:
                G.remove_edge(x, y)  # 移除边
                if undirected:
                    A[x, y] = A[y, x] = 0
                else:
                    A[x, y] = 0
            else:
                if can_add is False:
                    break

    # 4. 将networkx.DiGraph实例转化为torch_geometric.data.Data实例,返回
    return from_networkx(G)

写在最后

        在探索图形优化技术的道路上,基于曲率的图重新布线技术以其独特的视角和强大的能力,为我们揭示了图形处理领域的新可能。通过对节点曲率的精确计算和合理利用,这一技术不仅能够保持图形的整体结构稳定,更能在细节上精雕细琢,使图形展现出更加平滑、美观的视觉效果。

        回顾我们所探讨的内容,基于曲率的图重新布线技术凭借其先进性和实用性,已经在多个领域展现出了巨大的应用潜力。无论是社交网络分析中的用户关系优化,还是城市规划中的道路网络设计,甚至是生物科学中的蛋白质交互图研究,这一技术都为我们提供了全新的解决方案,随着技术的不断进步和应用领域的不断拓展,基于曲率的图重新布线技术将会迎来更加广阔的发展空间。我们可以预见,未来的图形优化将更加注重局部细节的优化和整体结构的稳定性,而基于曲率的图重新布线技术正是这一趋势的引领者。

详细复现过程的项目源码、数据和预训练好的模型可从该文章下方附件获取。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/688656.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

MySQL 高级 - 第十一章 | 索引优化与查询优化

目录 第十一章 索引优化与查询优化11.1 数据准备11.2 索引失效案例11.2.1 全值匹配10.2.2 最佳左前缀法则10.2.3 主键插入顺序10.2.4 计算、函数、类型转换&#xff08;自动或手动&#xff09;导致索引失效10.2.5 范围条件右边的列索引失效10.2.6 不等于&#xff08;! 或者 <…

写入文件内容

自学python如何成为大佬(目录):https://blog.csdn.net/weixin_67859959/article/details/139049996?spm1001.2014.3001.5501 在实例01中&#xff0c;虽然创建并打开一个文件&#xff0c;但是该文件中并没有任何内容&#xff0c;它的大小是0KB。Python的文件对象提供了write()…

在keil5中打开keil4工程的方法

文章目录 1. 打开文件 2. 安装旧版本包 3. 在keil4中打开keil5工程 1. 打开文件 在keil5 MDK的环境下&#xff0c;打开keil4的工程文件&#xff0c;会弹出下图所示的窗口&#xff1a; 参考官网的解释这两个方法分别为&#xff1a; 1. 使用MDK 版本 4 Legacy Pack时&#x…

c++调用动态库LNK2019无法解析的外部符号LNK1120无法解析的外部命令

严重性 代码 说明 项目 文件 行 禁止显示状态 错误 LNK1120 6 个无法解析的外部命令 ConsoleApplication1 D:\vs_qt_project\ConsoleApplication1\x64\Debug\ConsoleApplication1.exe 1 严重性 代码 说明 项目 文件 行 …

经纬恒润助力红旗转向技术新突破

近日&#xff0c;红旗研发新视界发布《国内首发&#xff01;红旗大输出力冗余平行轴式电动助力转向器让用户出行经济又安全&#xff01;》 &#xff0c;创新突破“输出力20kN以上的冗余平行轴式电动助力转向器&#xff08;R-EPS&#xff09;”。该产品支持整车实现L2/L3级自动驾…

优化财务管理制度提升企业经营效益—以审计代理记账为例

随着社会经济的快速发展&#xff0c;企业经营规模不断扩大&#xff0c;面临的财务管理问题也日益复杂&#xff0c;而作为其中的重要一环&#xff0c;审计代理记账已经成为了企业的必要组成部分&#xff0c;本文将重点探讨审计代理记账对于优化企业财务管理&#xff0c;提高经营…

题解web

1.[LitCTF 2023]Follow me and hack me 1&#xff09;进入题目环境&#xff0c;提示get传参&#xff0c;post传参 2&#xff09;看看源码&#xff0c;也没啥 3&#xff09;直接用hackbar&#xff0c;传入对应参数即可得到FLAG 3&#xff09;但是扫描出来它后端还有东西&#x…

Llama模型家族之拒绝抽样(Rejection Sampling)(二)均匀分布简介

LlaMA 3 系列博客 基于 LlaMA 3 LangGraph 在windows本地部署大模型 &#xff08;一&#xff09; 基于 LlaMA 3 LangGraph 在windows本地部署大模型 &#xff08;二&#xff09; 基于 LlaMA 3 LangGraph 在windows本地部署大模型 &#xff08;三&#xff09; 基于 LlaMA…

L45---506.相对名次(java)--排序

1.题目描述 2.知识点 &#xff08;1&#xff09;String.join(" ", words) 是 Java 中的一个语法&#xff0c;用于将数组或集合中的元素连接成一个单独的字符串&#xff0c;连接时使用指定的分隔符。这里的 " " 是作为分隔符使用的一个空格字符串。 Strin…

Docker|了解容器镜像层(1)

引言 容器非常神奇。它们允许简单的进程表现得像虚拟机。在这种优雅的底层是一组模式和实践&#xff0c;最终使一切运作起来。在设计的根本是层。层是存储和分发容器化文件系统内容的基本方式。这种设计既出人意料地简单&#xff0c;同时又非常强大。在今天的帖子[1]中&#xf…

一句话说清HDMI ARC eARC功能和区别

HDMI&#xff1a; 高清多媒体接口&#xff0c;主要用于传输高清音视频信号&#xff0c;High Definition Multimedia Interface。 ARC: 音频回传通道&#xff0c;Audio Return Channel eARC: 增强型音频回传通道&#xff0c;第一个E是增强的意思&#xff0c;Enhanced Audio…

国产主流软硬件厂商生态分析

国产领域主流厂商汇总 信创&#xff0c;即信息技术应用创新&#xff0c;由“信息技术应用创新工作委员会”于2016年3月4日发起&#xff0c;是专注于软硬件关键技术研发、应用与服务的非营利性组织。作为科技自强的关键力量&#xff0c;信创在我国信息化建设中占据核心地位&…

PS初级|写在纸上的字怎么抠成透明背景?

前言 上一次咱们讲了很多很多很多的抠图教程&#xff0c;这次继续。。。最近有小伙伴问我&#xff1a;如果是写在纸上的字&#xff0c;要怎么把它抠成透明背景。 这个其实很简单&#xff0c;直接来说就是选择通道来抠。但有一点要注意的是&#xff0c;写在纸上的字&#xff0…

深度学习每周学习总结P10(车牌识别)

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 | 接辅导、项目定制 数据链接 提取码&#xff1a;ppv1 –来自百度网盘超级会员V5的分享 目录 0. 总结1. 数据导入、查看数据分类&#xff0c;自定义transform…

数据分析必备:一步步教你如何用Pandas做数据分析(19)

1、Pandas 日期函数 Pandas 日期函数操作实例 扩展时间序列&#xff0c;日期功能在财务数据分析中起着重要作用。使用日期数据时&#xff0c;我们经常会遇到以下情况- 生成日期序列 将日期序列转换为不同的频率 2、创建日期范围 通过指定日期和频率使用date.range()函数&…

实验二、网络属性设置《计算机网络》

精神状态 be like&#xff1a;边写边崩溃&#xff0c;越写越得劲儿。 目录 一、实验目的&#xff1a; 二、实验内容 三、实验步骤&#xff1a; 四、实验小结 一、实验目的&#xff1a; 掌握 IP 地址、子网掩码等网络属性的设置。 二、实验内容 预备知识&#xff1a; 1、…

ic基础|复位篇02:芯片中的“人生重来枪”!crg之复位系统

大家好&#xff0c;我是数字小熊饼干&#xff0c;一个练习时长两年半的ic打工人。我在两年前通过自学跨行社招加入了IC行业。现在我打算将这两年的工作经验和当初面试时最常问的一些问题进行总结&#xff0c;并通过汇总成文章的形式进行输出&#xff0c;相信无论你是在职的还是…

一篇文章带你搞懂C++引用(建议收藏)

引用 6.1 引用概念 引用不是新定义一个变量&#xff0c;而是给已存在变量取了一个别名&#xff0c;编译器不会为引用变量开辟内存空间&#xff0c;它和它引用的变量共用同一块内存空间。 比如&#xff1a;李逵&#xff0c;在家称为"铁牛"&#xff0c;江湖上人称&quo…

查询SQL02:寻找用户推荐人

问题描述 找出那些 没有被 id 2 的客户 推荐 的客户的姓名。 以 任意顺序 返回结果表。 结果格式如下所示。 题目分析&#xff1a; 这题主要是要看这null值会不会用&#xff0c;如果说Java玩多了&#xff0c;你去写SQL时就会有问题。在SQL中判断是不是null值用的是is null或…

一文读懂AI时代GPU的内存新宠-HBM

一文读懂GPU最强辅助&#xff1a;HBM HBM&#xff0c;即高带宽内存&#xff0c;是一项领先的3D堆叠DRAM技术&#xff0c;专为高性能计算和图形处理单元&#xff08;GPU&#xff09;设计&#xff0c;满足其对内存带宽和容量的极致需求。该技术由AMD与海力士携手研发&#xff0c;…