统一显著性变换器

首个同时处理视频显著性预测和检测的统一框架，实现跨任务显著性建模。

Junwen, Xiong · Chuanyue, Li · Tianyu, Liu · 张蓬 · Yue, Huo · 黄伟 · 查宇飞

IEEE Transactions on Circuits and Systems for Video Technology 2025

参数信息

基准数量

8

技术优势

一套框架搞定两个任务

不再需要为预测和检测分别设计训练流程，UniST 用通用表示加任务特定解码器即可同时处理两个问题。

多尺度时空表征更强

显著性感知变换器在逐步提升的分辨率上学习时空表征，并融合跨尺度显著性信息，使最终表征更鲁棒。

八个基准全面领先

在八个具有挑战性的基准上超过其他最先进方法的大多数指标，覆盖两个任务。

应用场景

• 视觉注意力建模：用统一模型预测人眼注视分布，替代为每个数据集单独调参。
• 机器人视觉感知：让机器人关注动态场景中的关键区域，提升导航和交互效率。
• 智能视频监控：自动定位视频中的显著目标，减少人工监控负担。
• 视频内容理解：提供视频显著性图辅助语义分析，提升内容理解准确度。