精确几何位置学习框架

即插即用空间增强

无需训练即插即用地为多模态大模型注入精确空间感知能力，直接提升视觉问答、自动驾驶与智慧医疗的可靠性。

Yongqiang, Zhao · Zhenyu, Li · Jin Z. · Zhang F. · Ziliang, Wang · 吴连伟 · 豆乘风 · 赵海燕 · 徐新海

Science China Information Sciences 2026

参数信息

空间感知问答准确率提升

10.3 %

数据集覆盖数

6

模型数量

12

技术优势

无需重新训练

PGPL 在不调整 MLLM 参数的情况下，通过外部模型提供精确几何位置信息，即可提升其空间感知表现。

即插即用

可作为一个组件接入现有 MLLM 推理流程，无需改动模型结构或权重，即可获得空间感知增强。

绝对+相对位置融合

结合实体的几何绝对位置和几何相对位置，让模型对空间关系的判断有更完整的依据，从而减少定位偏差。

多维信息融合引导

采用多维信息融合策略引导模型利用位置信息，准确回答空间感知相关问题，提升任务表现。

应用场景

• 多模态大模型：直接接入现有 MLLM 推理管线，提升空间问答准确率。
• 自动驾驶空间感知：增强车辆对环境空间关系的判断，降低碰撞风险。
• 智慧医疗影像问答：让影像问答更准确指出病灶的空间定位与关联。
• 医疗机器人视觉定位：帮助机器人精确感知工具与组织的相对位置。
• 机器人空间理解：为机器人操作提供更可靠的空间关系理解能力。