跨模态自适应强融合
模仿大脑多感觉整合的逆有效性机制,使弱模态信号获得更高权重,在强模态主导的场景中也能保持稳定融合增益。
He, Xiang · Zhao, Dongcheng · Li, Yang Yang · 孔庆群 · Xin-Xin, Yang · 曾一
Science Advances 2026
基于逆有效性原则,弱单模态线索在融合时获得更高相对贡献,避免被强模态掩盖。
该策略在人工神经网络和脉冲神经网络上均有效,无需针对特定架构重新设计。
在提升精度的同时带来显著的计算效率增益,降低多模态模型部署开销。