多模态对齐问得更准
该模型通过联合编码文本与空间状态，并在多关系图上进行空间推理，显著提升了在具身对话场景中提出澄清问题的准确性与自然度。
邓扬 · Shuaiyi, Li · Lam, Wai
2023
通过构建多关系图并采用关系图注意力网络，模型能够显式捕捉空间关系，从更丰富的空间上下文中推理出澄清问题。
提出一种统一编码器，将文本与空间状态对齐后融合，使模型能同时利用两种模态的信息提出更准确的问题。