乱序视频更准识别
一种在音视频不同步条件下仍能稳健检测深度伪造视频的方法,通过预测性跨模态对齐和特征重建维持检测精度。
Wang, Yan · 孙钦东 · Jingpeng, Zhang · Rong, Dongzhu · 沈超 · Xiaoxiong, Wang
Information Fusion 2026
通过将音视频对齐建模为整数线性规划并用匈牙利算法求解,重建缺失的跨模态关联,使检测在不同步场景下仍保持精度。
引入自监督掩码重建机制,恢复因不同步而丢失的特征,并构建联合相关矩阵衡量跨模态依赖,增强鲁棒性。
理论分析和实验表明,该方法在未知扰动下仍保持鲁棒,不仅同步场景有效,不同步场景同样优于基线。