提示集成自蒸馏框架

零样本泛化增强

通过自蒸馏融合多组提示，在不增加推理成本的情况下提升提示调优的泛化能力。

Mengwei, Li · 王子磊 · Zhang, Yixin

IEEE Transactions on Circuits and Systems for Video Technology 2025

技术优势

推理零额外开销

训练时融合多组提示知识，推理只用一组融合提示，不增加计算量。

稳定超越现有方法

在四个任务上均优于包括多组提示融合在内的最先进方法。

即插即用到现有提示方法

可以无缝嵌入任何现有提示学习方法并稳定提升其性能。

代码公开可复现

代码已公开，便于复现和进一步改进。

应用场景

• 零样本视觉识别：直接提升零样本分类精度，无需为每个任务重新训练提示。
• 多模态大模型：可嵌入大模型提示学习管线，在不增加推理负担下增强泛化。