融入场景共现知识
通过图全变分正则化,将场景语料库的词共现统计融入语言模型,使生成文本更贴合特定任务主题。
刘斌 · 尹國聖
Journal of Artificial Intelligence Research 2023
通过图全变分正则化,利用场景语料库中的词共现统计来引导词汇选择,确保生成文本与当前任务主题一致。
Graphmax 可以轻松集成到任何大型预训练语言模型中,无需大幅修改即可用于文本生成和机器翻译。
在多种自然语言处理任务中,基于图正则化的方法相比现有方法能够获得更好的性能。