分层Banzhaf交互

以合作博弈建模视频-文本细粒度对齐，通过分层Banzhaf交互实现可解释、高效的跨模态表征学习。

金澎 · Huang, Jinfa · Xiong, Pengfei · Tian, Shuangxuan · Liu, Chang · 季向阳 · Yuan, Li · 陈杰

2023

技术优势

细粒度交互更灵敏

通过将视频帧与文本词视为博弈参与者，用分层Banzhaf交互衡量它们之间可能的对应关系，实现敏感且可解释的跨模态对比。

可视化跨模态交互

该方法可作为可视化工具，帮助理解视频帧与文本词之间的细粒度对应关系，促进对跨模态交互机制的理解。

应用场景

• 多模态检索：用细粒度博弈交互提升视频-文本检索的跨模态对齐精度。
• 视频问答：通过细粒度交互理解视频内容，增强视频问答的推理依据。
• 跨模态语义优化：以博弈交互值优化视频与文本的语义对应，提升跨模态表征质量。
• 智能检索系统：为智能检索系统提供可解释的视频-文本匹配机制。