文本图协同建模
构建融合词节点的层级文本属性图，通过四类自监督任务与节点特征更新机制，实现对图结构与文本语义的深层耦合利用。
Haoyu, Kuang · Xu, Jiarong · Haozhe, Zhang · Zuyu, Zhao · 张琪 · 黄萱菁 · 魏忠钰
2023
通过将词节点纳入图结构，显式建模节点与词之间的关联，避免了以往方法对这类关系的忽视。
所设计的预训练架构能够以可承受的内存成本处理文本属性图，解决了现有方法内存不足的问题。
在基准数据集 ogbn-arxiv 上，本方法相较于基线方法取得了更好的性能，验证了其有效性。