视听软聚类模型

从简到难训练

通过软聚类模块检测视听内容，并以视听并发性作为潜在监督，实现音画关联与跨模态对齐。

Hu, Di · 王政 · 聂飞平 · 王榕 · 李学龙

IEEE Transactions on Multimedia 2023

技术优势

无需成对标注

利用视听并发性作为潜在监督，避免了对大量音画成对标注的依赖。

训练更高效

从简单到复杂的场景顺序训练，使模型易于训练且收敛更快。

应用场景

• 跨模态声音定位：从视频中定位发声物体，无需额外视觉标注。
• 音视频场景理解：解析音画内容关联，提升场景理解能力。
• 多模态感知：实现有效的单模态表征和跨模态对齐。