线性复杂度
一种基于核分解方法的加速框架,可将图Transformer的复杂度从二次降至线性,并保持SOTA性能。
吴贻 · Yanyang, Xu · Wenhao, Zhu · 宋国杰 · 林宙辰 · Wang, Liang · Liu, Shaoguo
2023
通过核分解重排矩阵乘法顺序,将二次方复杂度降至线性,使模型能处理大规模图数据。
在特定规模图上达到约10倍加速,实验证明相比原始Transformer显著提升效率。
在多个真实和合成数据集上达到最先进性能,证明加速不牺牲准确率。
将图Transformer分为三类,为每类提供定制加速方法,框架可应用于任意GT架构。