CBAC跨模态对齐模型

跨模态语义对齐

通过辅助图像描述对齐视觉与问题模态，增强融合前语义一致性，提升VQA推理可靠性。

王博岳 · Yujian, Ma · Xiaoyan, Li · Junbin, Gao · 胡永利 · 尹宝才

IEEE Transactions on Neural Networks and Learning Systems 2024

技术优势

语义对齐更准

通过图像描述桥接问题与视觉，分别对齐后再融合，从而更准确地匹配关键视觉内容。

编码器更强

利用视觉-描述对语义关联比问题-视觉对更强的特点，采用对比学习增强单模态编码器的语义对齐能力。

应用场景

• 具身智能：提升智能体理解视觉与语言的能力，使其更准确地依据问题聚焦图像关键内容。
• 先进机器人：帮助机器人更好地理解自然语言指令并定位相关视觉目标，提高交互与操作精度。
• 物联网与传感网：用于设备端的多模态问答，提升传感器采集的视觉数据与用户查询之间的对齐效率。