多模态交互LoRA框架

跨域分类显著提升

面向多源无监督域适应的视觉语言模型，通过类别特定提示与多模态LoRA矩阵的交互式微调，提升跨域分类性能。

Li, Xueqiong · Huang, Wanrong · 刘衡竹 · Tan, Huibin

Neural Networks 2026

技术优势

类别感知提示

可学习的类别特定提示捕捉跨域共享知识，减少负迁移风险。

多模态低秩适配

LoRA矩阵注入域特定知识，参数高效地适配多源域。

模态交互机制

显式促进不同模态微调参数间的信息交换，增强协同。

显著性能提升

在标准基准上取得明显改进，验证了框架的有效性。

应用场景

• 跨域视觉识别：利用多源标注数据训练，提升模型在无标注目标域上的识别准确率。
• 模型微调：通过轻量级LoRA适配，在预训练VLM上高效微调以适应新任务。
• 多模态学习：同步对齐图像与文本模态，利用CLIP的联合表示增强分类。
• 图像分类：在无监督域适应设定下，直接应用于标准图像分类数据集。