四基准刷新最优
将3D时序编码与2D空间编码解耦,避免相邻帧空间信息干扰目标帧特征,实现语言引导的精确视频目标分割。
Hui, Tianrui · 刘偲 · Ding, Zihan · Huang, Shaofei · 李冠彬 · Wenguan, Wang · Liu, Luoqi · 韩冀中
IEEE Transactions on Pattern Analysis and Machine Intelligence 2023
将3D时序编码(识别动作)与2D空间编码(提供目标帧无干扰空间特征)分离,避免相邻帧空间信息污染目标帧特征,从而提升分割精度。
CMAM和CMAM+模块在编码器中进行自适应跨模态交互,利用空间或时序相关的语言特征并逐步更新,丰富语言全局上下文,使多模态特征对齐更准确。
LASP模块在解码器中以语言感知采样和分配传播语义信息,突出与语言兼容的前景视觉特征并抑制不兼容的背景特征,改善分割结果。