音视频异步检测方法

乱序视频更准识别

一种在音视频不同步条件下仍能稳健检测深度伪造视频的方法,通过预测性跨模态对齐和特征重建维持检测精度。

Wang, Yan · 孙钦东 · Jingpeng, Zhang · Rong, Dongzhu · 沈超 · Xiaoxiong, Wang

Information Fusion 2026

技术优势

乱序也能检测

通过将音视频对齐建模为整数线性规划并用匈牙利算法求解,重建缺失的跨模态关联,使检测在不同步场景下仍保持精度。

特征缺失能自愈

引入自监督掩码重建机制,恢复因不同步而丢失的特征,并构建联合相关矩阵衡量跨模态依赖,增强鲁棒性。

扛得住未知扰动

理论分析和实验表明,该方法在未知扰动下仍保持鲁棒,不仅同步场景有效,不同步场景同样优于基线。

应用场景