调参4.7%即达最优
用参数高效微调方法把CLIP的多模态知识迁移到文本行人检索,解决全量微调过拟合和泛化差的问题。
Liu, Yating · Yaowei, Li · Lan, Xiangyuan · Wenming, Yang · Liu, Zimo · Qingmin, Liao
IEEE Transactions on Circuits and Systems for Video Technology 2025
只微调 4.7% 参数就在三个数据集上达到最优,避免了全量微调的过拟合。
Prefix 和 LoRA 一起挖掘局部信息,Adapter 调整全局特征,三种轻量组件协同迁移 CLIP 知识。
L-Adapter 与层归一化并联调整整体分布,化解多个子模块重叠交互引起的冲突。