低频词表示增强
利用词典定义和例句注入丰富语义,提升预训练语言模型在细粒度语义任务上的表现。
Cao, Rui · Yihao, Wang · Gao, Ling · 杨朦
Knowledge-Based Systems 2023
通过词典定义和例句注入语义,弥补了训练语料中上下文不足的问题。
设计了融合单词、定义和例句的提示模板,克服了以往工作忽视例句潜力的不足。
对多义词的句子嵌入进行可视化,方法能够平滑决策边界,帮助模型输出更可区分的嵌入。