提示驱动多模态分割网络

单模型三任务通吃

用任务自适应提示同时缓解模态鸿沟与任务鸿沟,一个网络统一解决语义、实例与全景分割。

Kejun, Liu · 颜雪松 · 刘袁缘 · 唐厂 · Zhan, Yibing · Wei, Luo · 周武杰 · 张洪艳

IEEE Transactions on Geoscience and Remote Sensing 2025

技术优势

统一三任务

一个网络同时处理语义分割、实例分割和全景分割,无需为每个任务维护单独模型。

任务自适应提示

通过任务自适应文本提示和对比损失建模任务间关系,实现对不同分割任务的自适应优化,从而弥合任务鸿沟。

多模态对齐

通过跨模态亲和矩阵近似与多尺度语义融合,对齐不同模态的语义信息,弥合模态鸿沟。

应用场景