冻结PLM微调免训
在冻结的预训练语言模型上仅训练提示词,以极低的训练成本实现在多个知识图数据集上优于现有方法的知识图补全。
耿玉霞 · Chen, Jiaoyan · Yuhang, Zeng · Chen, Zhuo · Zhang, Wen · Pan, Jeff Z. · 王宇翔 · 徐小良
Expert Systems with Applications 2025
预训练语言模型被冻结,仅训练两个提示词,参数量远小于全量微调,使得训练成本大幅降低,且便于在更大模型上使用。
解耦结构提示词学习解耦的图表示,使预训练语言模型能够更有效地将相关结构知识与文本信息结合,从而提升补全性能。