小样本分类超SOTA
通过交换支持集与查询集的CLS和patch token实现任务内互注意,强化类内表示,且仅需微调少量参数即可在小样本分类上超越现有方法。
Weihao, Jiang · 刘昶 · 何琨
IEEE Transactions on Circuits and Systems for Video Technology 2025
只微调最后几层和CLS token模块,避免全模型微调的高昂成本,同时保留预训练模型的能力。
用Masked Image Modeling自监督预训练,模型能学到有语义的表示而不会发生监督崩溃。
在五个流行的小样本分类基准上,1-shot和5-shot场景下都优于现有最佳方法,证明其通用性。