参考分割即插即用
在预训练分割模型内引入语言-视觉细粒度对齐与提示生成，无需改变架构即可适配自由文本指定的参考图像分割任务。
Liu, Sun’ao · 谢洪涛 · Jiannan, Ge · 张勇东
IEEE Transactions on Circuits and Systems for Video Technology 2024
无需修改预训练 SAM 的结构即可增强跨模态交互，降低了部署和微调成本。
通过精心设计的提示生成将语言特征与多尺度视觉特征对齐，能够精确响应任意自然语言表达式。
在五个公开基准上达到最先进性能，涵盖经典与广义参考图像分割任务。