时空对齐测试时框架

多模态鲁棒显著提升

一个为多模态测试时适应设计的时空对齐框架，能在一个或多个模态损坏时保持高性能。

Xiaolong, Yin · Xinlin, Wang · 詹德川 · 姜远

Knowledge-Based Systems 2026

参数信息

准确率提升

12.3 %

损坏类型数

20

技术优势

显式时空约束

通过时空证据构建与跨视图注意力一致性模块，对时空信息进行对齐，弥补现有方法对时空线索利用不足的缺陷。

自适应视图加权

在测试时根据视图可靠性动态分配权重，使模型更依赖未损坏的模态，从而在部分模态损坏时维持性能。

损坏下大幅提升

在音频模态损坏的情况下，准确率提升最高可达12.3%，显著优于现有方法。

应用场景

• 多模态感知：在真实感知场景中抵抗传感器损坏，保持多模态感知稳定。
• 鲁棒多模态推理：在部分模态不可靠时仍能正确推理，无需重新训练。
• 多模态融合：通过时空对齐增强融合质量，减少跨模态不一致。