场景知识提示编码器

导航更准

用可学习的多模态提示库把房间类型信息编码进导航器，解决房间类型判断不准造成的导航困惑。

Zhan, Zhaohuan · Qin, Jinghui · Zhuo, Wei · Tan, Guang

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

消除房间类型混淆

通过查询可学习的多模态提示库获取房间类型提示，使导航器能够利用这些提示进行决策，从而克服因分类器不准导致的困惑。

三个基准上验证有效

在 REVERIE、R2R 和 SOON 三个公开数据集上的实验结果表明，该方法有效提升了导航性能。

应用场景

• 具身智能：让机器人在真实环境中更可靠地遵循自然语言指令完成导航任务。
• 视觉语言导航：通过房间类型提示增强视觉语言导航模型对场景的理解，减少路径决策错误。
• 服务机器人：帮助服务机器人在室内环境中更准确地识别房间类型，提升指令执行成功率。