差分跨模态融合模块

滤除背景噪声

借鉴降噪耳机原理,通过并行注意力图差分响应,有效抵消背景与语言噪声,增强跨模态对齐的鲁棒性。

Zhibiao, Xue · 刘占文 · Haochen, Wang · Lin, Chunmian · Zhao, Wenjing · Daniel, Sun

Knowledge-Based Systems 2026

参数信息

HOTA
52.38 %
DetA
41.33 %
AssA
66.53 %

技术优势

压制背景噪声

将跨模态融合重构为并行注意力图的差分响应,背景和无关语言词的共同噪声被自动抵消,注意力集中在真正的目标区域。

保持细粒度对齐

图卷积通过最大相对消息传递细化局部对齐,图引导的 Mamba 将视觉节点组织为因果序列,累积上下文,使深层网络仍能保持语言指导的一致性。

端到端可训练

整个框架从语言查询到多目标轨迹输出一体化优化,无需分阶段训练或额外后处理,部署更简单。

应用场景