协同感知双向语义推理网络

七大数据集全面领先

通过协同感知关联推理与双向语义学习，缓解了视频问答中的虚假关联问题，并能无缝迁移到开放式与多选任务。

Wu, Xize · 伍家松 · 朱磊 · Senhadji, Lotfi · Shu, Huazhong

IEEE Transactions on Circuits and Systems for Video Technology 2024

参数信息

测试数据集数

7

技术优势

缓解虚假关联

通过双向语义推理学习策略，强化学习表示与正确答案的唯一正语义关联，显式缓解语义共现重叠的挑战。

多粒度场景挖掘

协同感知自适应关联推理模块从对象级到帧级逐步推理，聚合关键视频场景，获得语义丰富的表示。

任务无缝迁移

得益于相同的模型结构和学习策略，方法可在开放式和多选任务之间无缝迁移，无需额外修改。

应用场景

• 视频内容理解：从对象级到帧级多粒度挖掘语义关键场景，提升视频语义解析精度。
• 智能医疗诊断：对手术或内窥镜视频进行因果推理问答，辅助医生定位关键病灶。
• 机器人交互：让机器人理解动态场景中的问题意图，增强人机协作与指令执行能力。
• 多模态问答系统：统一解码视频、问题与知识语义，缓解语义重叠，提高答案准确性。
• 具身智能交互：在具身环境中需要因果推理和场景关联能力的视频问答交互。