结构感知图适配器

图任务微调内存低

一个为图转换器网络设计的参数高效微调适配器，将图结构作为归纳偏置注入更新过程，在多个图任务上达到最优性能并显著降低内存占用。

Anchun, Gui · Jinqiang, Ye · 肖寒

2024

参数信息

基准数据集数量

9

技术优势

精度不降反升

在 9 个图基准数据集上，G-Adapter 的性能优于现有 PEFT 方法，证明了结构感知设计的有效性。

内存占用大降

相比传统全量微调，G-Adapter 大幅降低内存占用，使得大模型在资源受限环境下也能微调。

缓解分布偏移

Bregman 近点优化防止模型更新过猛，有效缓解特征分布偏移，提升迁移稳定性。

应用场景

• 图神经网络微调：用极少的参数更新适配器，无需改动主干网络，即可将预训练图模型适配到下游任务。
• 大模型迁移学习：为大型图转换器模型提供低资源迁移方案，避免全量微调的高昂计算与存储成本。
• 图数据挖掘：在多个图挖掘任务上实现高精度，可快速部署于节点分类、图分类等应用。