P-Adapter 视觉适配器

高分辨率细节增强

面向多模态大语言模型的高分辨率空间感知适配器，以轻量结构与训练高效性提升复杂驾驶场景下的感知能力。

Ding, Xinpeng · Han, Jianhua · Xu, Hang · Zhang, Wei · Li Xiaomeng

International Journal of Computer Vision 2025

参数信息

BLEU-4 提升

3.7 %

mIoU 提升

8.7 %

技术优势

兼顾动态与细节

低分辨率动态视频捕捉时序语义，单帧高分辨率图像经 P-Adapter 提取整体视觉感知信息，避免丢失关键时空线索。

轻量且易集成

P-Adapter 结构轻、训练高效，可直接接入现有 MLLM，无需改动主干网络。

弱化了对象外观依赖

驾驶场景的主要变化来自运动轨迹而非外观，P-Adapter 聚焦于运动相关时空信息，对形状和颜色变化更鲁棒。

应用场景

• 自动驾驶感知：提升风险目标检测与描述能力，为可解释驾驶提供知觉支撑。
• 多模态大模型：为 MLLM 补充高分辨率视觉感知，克服 CLIP 编码器局限。
• 智能交通：提供关键交通对象风险定位与建议，辅助驾驶决策。
• 机器人视觉：双流视觉处理可迁移到移动机器人对动态场景的理解。