细粒度对齐
用合作博弈建模视频与文本的细粒度语义对应，提升多模态表示质量。
金澎 · 李浩 · Yuan, Li · 颜水成 · 陈杰
IEEE Transactions on Pattern Analysis and Machine Intelligence 2024
通过分层Banzhaf交互模拟视频片段与文本词的多粒度对应，缓解传统方法仅用全局语义交互的局限。
通过融合单模态与跨模态表示重建，保证细粒度与单模态相当，同时保留跨模态的自适应编码特性。
将结构扩展为编码器-解码器框架，可直接用于检索、问答和字幕生成等下游任务。
提供代码，便于复现和应用。