多模态分类适用
一种多模态分类模型,通过逐层自适应的双加权融合策略与层间跳跃连接,更好地利用各模态特征进行融合。
Guo, Qian · 梁新彦 · Qian Y. · 崔志华 · Wen, Jie
2024
双重加权策略通过可学习参数动态分配各视图特征及前后层融合特征的权重,使融合更能反映特征的实际贡献。
PSR块在每一层都使用融合算子处理所有视图特征,并引入前一层融合结果,使融合特征随层级逐步精化。
在六个真实多模态数据集上的广泛实验结果证明了该方法能有效提升分类性能。