图无关线性变压器

去图降算力

图结构仅在训练前降噪节点特征，训练和推理阶段完全移除图结构，大幅降低计算开销，同时保持甚至提升性能。

Guo, Zhiyu · Yang, Liu · 敖翔 · Xinhuan, Chen · 何清

Neural Networks 2026

技术优势

训练推理无需图结构

图结构仅在训练前用于降噪节点特征，降噪后的特征已包含图结构的主要信息，可替代图结构指导 Transformer，从而省去训练和推理中的图相关计算。

线性注意力进一步降本

简化传统 Transformer 的注意力函数为线性注意力，仍能捕获节点间关系，进一步降低计算开销。

性能不降反升

尽管去除了图结构和简化注意力，模型在基准图上仍优于大多数 GNN 和图 Transformer。

高效与性能兼得

实验结果显示，GALiT 在保持甚至提升性能的同时实现了高效率。

应用场景

• 大规模图学习：模型无需图结构参与训练推理，可直接处理大规模图，减少计算资源消耗。
• 高效图编码：线性注意力结合降噪特征，实现低开销且信息保留充分的图编码。
• 图数据存储：模型只需存储预处理后的节点特征，无需存储完整图结构，节省存储空间。
• 低算力图处理器：训练和推理中无需图结构和复杂注意力，计算量大幅下降，适合低功耗部署。