双向特征融合
该网络通过双向跨模态消息传递与提纯模块,显著增强了对运动模糊和遮挡等复杂场景的鲁棒性。
Ji, Gepeng · Fan, Dengping · 傅可人 · Wu, Zhe · 沈建冰 · Shao, Ling
Computational Visual Media 2023
设计关系交叉注意力模块RCAM,在嵌入子空间之间实现双向消息传递,使外观和运动线索相互约束,避免单向融合导致的信息丢失。
在RCAM之后引入双向提纯模块,能够更新时空嵌入中不一致的特征,提升模型对运动模糊和遮挡的鲁棒性。
在五个流行基准上的大量实验表明,FSNet对运动模糊、遮挡等挑战场景具有鲁棒性,并与视频对象分割和视频显著目标检测的领先方法相比表现出色。