球面ConvLSTM显著性网络

360°全局依赖建模

专为360°视频设计的生成式显著性预测网络，利用双流编码器与球面ConvLSTM捕捉全景时空依赖，有效应对畸变与特征对齐问题。

万照麟 · Han, Qin · Ruiqin, Xiong · 栗志扬 · 范晓鹏 · 赵德斌

IEEE Journal on Emerging and Selected Topics in Circuits and Systems 2024

技术优势

全局依赖建模

轴向注意力的球面ConvLSTM在编码器中记忆全局时空依赖，从而提升预测精度。

先验建模

引入时间卷积高斯先验模块，利用人类观看行为的偏置现象进一步提高显著性预测精度。

性能最优

在PVS-HM和VR-Eyetracking两个数据库上均取得了最佳性能。

应用场景

• VR内容生成：辅助生成更符合用户注意力分布的VR内容。
• 全景视频分析：快速定位全景视频中的关键区域，提升分析效率。
• 视觉注意力建模：提供准确的显著图，辅助视觉注意力机制研究。
• 具身视觉导航：引导机器人关注环境中显著目标，优化导航决策。