跨模型比较损失

提升神经元效用

通过全模型与消融模型之间的排序损失，使每个神经元都不可或缺，在小模型和长输入上尤为有效。

Zhu, Yunchang · 庞亮 · Kangxi, Wu · 兰艳艳 · 沈华伟 · 程学旗

ACM Transactions on Information Systems 2024

技术优势

在14个数据集上验证有效性

基于5种预训练语言模型

在参数少或长输入的模型上效果更优