逆有效性多模态融合策略

跨模态自适应强融合

模仿大脑多感觉整合的逆有效性机制,使弱模态信号获得更高权重,在强模态主导的场景中也能保持稳定融合增益。

He, Xiang · Zhao, Dongcheng · Li, Yang Yang · 孔庆群 · Xin-Xin, Yang · 曾一

Science Advances 2026

技术优势

弱信号不再被淹没

基于逆有效性原则,弱单模态线索在融合时获得更高相对贡献,避免被强模态掩盖。

不挑架构

该策略在人工神经网络和脉冲神经网络上均有效,无需针对特定架构重新设计。

省算力

在提升精度的同时带来显著的计算效率增益,降低多模态模型部署开销。

应用场景