DropNaE 图稀疏算法

离线加速GNN训练

在训练前对图数据进行条件化节点与边删除，均匀化度分布并保持邻居异质性，显著提升主流GNN的训练效率与精度。

刘心 · Yan, Mingyu · Runzhen, Xue · Pan, Shirui · Pei, Songwen · 邓磊 · 叶笑春 · 范东睿

Neural Networks 2024

技术优势

离线执行，不占在线资源

DropNaE 在 GNN 训练前离线运行，不占用训练时的计算资源，因此可与任何现有及未来的 GNN 架构配合，不增加在线开销。

统一度分布，加速训练

通过条件化删除节点和边，将图的不规则度分布转化为均匀分布，消除 GPU 处理长尾度节点时的负载不均，提升训练效率。

保留邻居异质性，精度不降反升

删除操作基于邻居异质性指标设计，避免误删关键连接，实验显示集成后 GNN 精度提升，说明信息损失可控。

应用场景

• 大规模图神经网络加速：用于大规模图训练前稀疏化，减少 GPU 负载不均，提速 GNN 训练。
• 图数据预处理：作为 GNN 前端数据处理模块，直接替换现有图数据以减轻计算压力。
• 图计算平台：可集成到 GPU 图计算平台，在线下完成图变换，优化平台上的 GNN 任务。