粒度可控VL-PET
参数高效且性能更优
通过新颖的粒度控制机制有效调节模块化调整，比现有参数高效微调方法性能显著提升，同时保持训练参数极少。
Zi-Yuan, Hu · 李炎洋 · Lyu, Michael Rung Tsong · 王历伟
2023
参数信息
- 性能提升（图像-文本任务，对比VL-Adapter）
- 2.92 %
- 性能提升（图像-文本任务，对比LoRA）
- 3.37 %
- 性能提升（视频-文本任务，对比VL-Adapter）
- 3.41 %
- 性能提升（视频-文本任务，对比LoRA）
- 7.03 %
技术优势
性能更高
在多个图像-文本和视频-文本任务上显著超越现有方法。
即插即用
模块设计轻量，可方便地集成到现有PET方法中。
应用场景
- 视觉-语言模型微调：用极少参数把预训练VL模型适配到新任务，避免全量微调的高成本。
- 大模型高效适配：通过粒度控制与轻量模块设计，在保持性能的同时大幅降低训练和存储开销。
- 多模态预训练模型：为多模态编码器-解码器模型提供即插即用的PET模块，提升跨模态对齐与生成能力。