多模态对齐新策略
通过事件对齐的动量增强策略，在对比学习中缓解小批量限制和错误对比目标，实现更优的多模态融合。
Wei, Yiwei · Yuan, Shaozu · Chen, Meng · 王龙标
2023
事件对齐的动量增强策略使对比学习在小批量下仍能有效训练跨模态编码器。
通过事件对齐构建更准确的对比样本对，减少错误对比目标对模型训练的干扰。
在密集视频描述任务上优于所有现有多模态融合方法。