语言感知时空协作网络

四基准刷新最优

将3D时序编码与2D空间编码解耦,避免相邻帧空间信息干扰目标帧特征,实现语言引导的精确视频目标分割。

Hui, Tianrui · 刘偲 · Ding, Zihan · Huang, Shaofei · 李冠彬 · Wenguan, Wang · Liu, Luoqi · 韩冀中

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

技术优势

消除空间错位干扰

将3D时序编码(识别动作)与2D空间编码(提供目标帧无干扰空间特征)分离,避免相邻帧空间信息污染目标帧特征,从而提升分割精度。

跨模态交互更精细

CMAM和CMAM+模块在编码器中进行自适应跨模态交互,利用空间或时序相关的语言特征并逐步更新,丰富语言全局上下文,使多模态特征对齐更准确。

突出语言相关前景

LASP模块在解码器中以语言感知采样和分配传播语义信息,突出与语言兼容的前景视觉特征并抑制不兼容的背景特征,改善分割结果。

应用场景