判别损失函数

区分硬样本与错误样本

一种附加在任务损失上的损失函数，能够在训练早期自动估计样本重要性，并在后期区分硬样本和错误样本，从而提升模型泛化能力。

Tingting, Wu · Ding, Xiao · Hao, Zhang · Jinglong, Gao · Minji, Tang · Du, Li · Bing, Qin · 刘挺

IEEE Transactions on Multimedia 2023

技术优势

区分难样本和错误样本

在训练后期，DiscrimLoss 能将错误样本与真正难样本区分开，使模型从难样本学习而不过拟合错误样本。

自动估计样本重要性

在训练早期自动且稳定地估计简单样本与困难样本的重要性，无需人工设计课程。

任务适应性广

在图像分类、图像回归、文本序列回归和事件关系推理等多种任务上均有效，且在多种噪声水平下保持鲁棒。

应用场景

• 鲁棒模型训练：用含噪声标注数据训练模型时，防止模型记忆错误标签，提升泛化。
• 多模态数据标注：在自动标注或众包标注存在噪声时，作为损失函数提升模型鲁棒性。
• 具身智能数据处理：处理具身智能中采样的含噪交互数据，减少错误示范对策略学习的影响。