可插拔记忆语言模型

知识解耦可编辑

该模型将知识存储与模型参数解耦,通过可编辑可扩展的键值记忆实现知识更新与检索,无需重新训练即可吸收新知识。

Xin, Cheng · Lin, Yankai · Chen, Xiuying · Zhao, Dong-Yan · 严睿

2023

参数信息

平均 F1 提升
3.95

技术优势

知识可编辑

知识存储在独立的键值记忆中,可以随时修改或扩充,无需重新训练模型。

可解释推理

通过 DPM 中的知识检索,模型对特定问题所需的知识具有可解释性。

无需训练更新

预训练完成后,可以以无训练的方式吸收新知识,实现快速领域适应。

应用场景