字典集成提示微调

低频词表示增强

利用词典定义和例句注入丰富语义,提升预训练语言模型在细粒度语义任务上的表现。

Cao, Rui · Yihao, Wang · Gao, Ling · 杨朦

Knowledge-Based Systems 2023

参数信息

平均准确率提升(WiC)
3.09 %
平均准确率提升(WSC)
7.93 %

技术优势

低频词表示更准

通过词典定义和例句注入语义,弥补了训练语料中上下文不足的问题。

例句潜力充分利用

设计了融合单词、定义和例句的提示模板,克服了以往工作忽视例句潜力的不足。

嵌入更可分

对多义词的句子嵌入进行可视化,方法能够平滑决策边界,帮助模型输出更可区分的嵌入。

应用场景