抗双噪声标签
一个同时纠正错误标注和错误跨模态配对的框架,让模型在噪声数据下仍然学到可靠的跨模态特征。
吴松 · Shihao, Shan · 肖国强 · Lew, Michael S. · 高新波
Engineering Applications of Artificial Intelligence 2024
通过标签置信度学习估计身份标签置信度,同时纠正噪声标注和噪声配对,让模型在脏数据上也能学到可靠特征。
利用无噪声的模态标签和中心损失模糊模态数据边界,使学习到的隐特征空间对模态差异更不敏感。
利用自注意力机制从批量角度对齐跨模态样本对的显著预测分布,增强特征匹配精度。
代码公开,研究者可直接使用或在其基础上改进。