音视频分割时空框架

时序建模新范式

将音视频分割视为多变量时间序列建模任务，通过序列内时序注意力与序列间共享注意力图实现跨模态融合，在三个基准上取得最优性能。

Shen, Li · 王养柱 · Xuyi, Fan · Yuning, Wei · 邱华鑫

IEEE Transactions on Multimedia 2026

技术优势

时序建模更充分

将帧序列和音频序列视为两条时间序列，通过时序注意力提取序列内特征，并通过共享时序注意力图实现跨模态交互，从而更有效地捕获和融合时空信息。

跨模态融合更统一

采用单流融合模块统一学习空间紧凑的视觉特征和非平凡的声学特征及其关系建模，避免了多流架构中的信息割裂，提升了融合效率。

多基准验证SOTA

在三个AVSBench数据集上进行了广泛实验，在分割和语义分割场景中均验证了最先进的性能，表明该框架在不同任务设置下具有优越性。

应用场景

• 音视频分割：用于精确分割视频中发声对象，支撑视听内容理解。
• 多模态融合模型：提供音频和视觉序列的时序对齐融合方案，提升跨模态一致建模。
• 时序数据处理：将视频帧和音频作为时间序列处理，利用时序注意力挖掘动态特征。
• 机器人感知：帮助机器人在动态场景中定位和分割发声目标，提升环境理解。
• 无人机视觉：为无人机视觉提供音频辅助的目标分割，增强复杂背景下的感知能力。