统一视觉提示调优法

参数高效

通过为下游任务学习任务特定的视觉提示,以冻结的预训练模型适应多种视觉任务,性能超越传统微调,且仅需训练少量参数。

Xing, Nie · 尼博琳 · Chang, Jianlong · 孟高峰 · 霍春雷 · 向世明 · 田奇

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

训练参数极少

预训练模型被完全冻结,只训练为下游任务学习的视觉提示,因此只需存储和更新极少的额外参数。

超越全量微调

在图像分类(含类别不平衡、图像损坏、自然对抗样本、分布外泛化)和密集预测任务上,Pro-tuning 的性能优于传统的全量微调。

架构通用

Pro-tuning 既能适配卷积神经网络也能适配 Transformer 架构的预训练模型,因此可以灵活用于各类主流骨干网络。

应用场景