全双工分割网络

双向特征融合

该网络通过双向跨模态消息传递与提纯模块,显著增强了对运动模糊和遮挡等复杂场景的鲁棒性。

Ji, Gepeng · Fan, Dengping · 傅可人 · Wu, Zhe · 沈建冰 · Shao, Ling

Computational Visual Media 2023

技术优势

双向特征互补

设计关系交叉注意力模块RCAM,在嵌入子空间之间实现双向消息传递,使外观和运动线索相互约束,避免单向融合导致的信息丢失。

特征提纯去噪

在RCAM之后引入双向提纯模块,能够更新时空嵌入中不一致的特征,提升模型对运动模糊和遮挡的鲁棒性。

基准表现领先

在五个流行基准上的大量实验表明,FSNet对运动模糊、遮挡等挑战场景具有鲁棒性,并与视频对象分割和视频显著目标检测的领先方法相比表现出色。

应用场景