双语义重建网络

弱监督视频定位

与现有使用随机掩码的方法不同，该网络通过分别处理名词和动词，使视频定位更符合人类大脑的语言解析机制。

Kefan, Tang · 何立火 · 王楠楠 · 高新波

IEEE Transactions on Multimedia 2024

技术优势

词性分离建模

分别提取对象感知和运动感知特征，用名词重建对象提议、用动词重建运动提议，模拟人脑解析机制。

一致性约束对齐边界

强制对象提议和运动提议的边界高度一致，提高定位精度。

对比学习区分正负

通过对比学习区分正负实例，增强模型对相关片段的辨别能力。

应用场景

• 视频理解：无需精确时间戳，从视频中定位与查询句子相关的片段。
• 多模态问答：为视频问答提供片段级证据，提升答案依据的准确性。
• 视频检索：根据文本查询检索视频中的相关片段，支持内容搜索。