导航问答精度升4.1%
利用物体标签将视觉与语言模态对齐到统一语义空间，并通过专用Transformer捕捉场景长程依赖，为具身问答提供更准确的导航与回答。
Luo, Haonan · Ziyu, Guo · Wu, Zhenyu · Fei, Teng · Tianrui, Li
Information Fusion 2024
利用物体标签作为参考点，将视觉与语言模态对齐到统一的语义空间，减小跨模态鸿沟。
专用Transformer模块捕捉视觉场景中广泛像素间的长程依赖，从而生成更符合上下文的动作。
所有模块性能均获提升，具身问答任务整体准确率提高4.1%。