动态LoRA融合模型

仅200样本即达高融合性能

针对生成式任务，引入动态融合门控机制，按需调整不同LoRA模块的贡献，显著优于静态权重融合方法。

Hanqing, Wang · Bowen, Ping · Wang, Shuo · 韩旭 · 陈云 · 刘知远 · 孙茂松

2024

参数信息

训练样本数

200

生成任务数量

6

技术优势

仅 200 样本即可训练

融合门控参数极少，只需 200 个训练样本即可学会动态权重。

六个任务全面超越基线

动态融合机制使模型能按 token 需求分配不同 LoRA 的权重，因此在六个生成式任务中均优于静态融合基线。

极轻量的融合门控

融合门控只增加极少参数，几乎不增加推理成本。

应用场景

• 具身智能：在具身智能的多模态任务中，不同 token 对应不同技能需求，动态融合能按需分配视觉、语言等 LoRA 模块的权重。
• 电池管理与集成：在电池管理系统中，不同工况或传感器数据类型可能需要不同专业模型，动态融合可让模型按输入动态切换专家知识。