潜在语义对齐学习法

通过学习与环境潜在对齐的语义表征，该方法实现了跨模态信息的深度协同。

Wu, Siying · Xueyang, Fu · Feng, Wu · Zha, Zheng Jun

IEEE Transactions on Multimedia 2024

参数信息

成功率提升（R2R验证未见集）

1.6 %

技术优势

成功率再上一个台阶

在R2R验证未见集上成功率提升1.6%，在R4R验证未见集上提升4.3%，验证了方法在不同数据集上的有效性。

动作决策更可解释

该方法使智能体建立对环境的统一感知，让每一步动作背后的跨模态推理过程更容易被理解和分析。

三个任务联合训练

轨迹条件掩码片段建模和掩码观察动作预测推理跨模态依赖，层级三元对比学习学习模态间一致表征。

应用场景

• 视觉语言导航：提升指令跟随的准确率，使导航代理的决策更可靠。
• 具身智能：增强具身智能体对环境的跨模态理解能力。
• 机器人导航：帮助机器人在复杂环境中更好地对准语言与视觉信息。
• 多模态感知：通过语义对齐提升多模态感知的一致性与动作可解释性。