视听分割PIF方法

性能大幅超越

将视听分割解耦为两个分支,分别处理相关性学习和分割细化,通过特征分配和循环协作提升分割精度。

Sen, Xu · 韦世奎 · Ruan, Tao · Liao, Lixin · 赵耀

IEEE Transactions on Multimedia 2024

参数信息

平均交并比(mIoU)
6.0 %
F-score
7.6 %

技术优势

模型更简单

将耦合的跨模态交互拆分为两个子任务,避免了复杂网络结构。

特征各司其职

使用深层特征进行跨模态交互,浅层特征改善分割结果,充分利用语义和纹理信息。

大幅超越现有

在 Multi-Source 子集上 mIoU 提升 6.0%,F-score 提升 7.6%,性能优于现有方法。

应用场景