统一多模态分类网络

适配任意模态

同一个网络框架能处理不同模态、不同任务的多模态分类问题，不依赖单一任务设计，可替换特征提取模块以适应文本、图像等各类输入，并以深度度量学习挖掘模态内和模态间关系。

Peng, Liwen · 蹇松雷 · Minne, Li · Kan, Zhigang · 乔林波 · 李东升

Neural Networks 2025

参数信息

F1值提升

2.3 %

技术优势

类内更紧致

通过度量学习的三元组训练拉近同类别样本的特征距离，使模型对同类多模态数据有更紧凑的表示。

跨模态对齐

对比式成对学习捕捉不同模态间的关联，使不同模态的信息在特征空间中相互对齐，提升分类效果。

应用场景

• 虚假新闻识别：提供统一框架和特征提取，减少为不同新闻模态组合重复设计网络的工作量。
• 多模态情感分析：可自适应替换文本、语音、图像特征提取器，无需为每种模态组合单独构建模型。
• 多模态信息融合：通过度量学习同时挖掘模态内和模态间关系，实现更有效的多模态特征融合。