超图辅助时刻检索网络

十二模型普适提升

通过超图建模视频-语言的高阶交互，自动挖掘并筛选高质量辅助时刻-查询对，无需额外人工标注即能显著提升多类视频时刻检索模型的性能。

曾润浩 · Yishen, Zhuo · Jialiang, Li · Yunjin, Yang · 吴惠思 · 陈奇 · 胡希平 · 梁中明

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

自动筛选高质量对

通过超图神经网络聚合节点信息并更新超边，利用节点相关性筛选出高质量的时刻-查询对，无需人工判断。

无需额外标注

利用时刻内外语义匹配差异构造损失函数训练超图神经网络，整个过程不依赖人工标注。

十二模型普适提升

辅助数据在三个数据集上、三种监督设定下一致提升了十二个模型的性能。

应用场景

• 视频内容理解：自动生成高质量时刻-查询对，提升检索模型在稀疏标注数据上的表现。
• 具身智能交互：通过超图建模视频与语言的高阶交互，增强具身智能对时序语言指令的理解。
• 多模态学习：利用超图捕捉视频与查询间的多模态高阶关系，提升跨模态匹配能力。