双对齐蒸馏框架

5%数据提点1.5

通过构建双向跨模态对比分布并最小化KL散度,实现新旧模型表示对齐,无需微调即可高效完成多模态知识迁移。

Caiyu, Fan · Kun, Song · Zou, Bochao · Hu, Xiaocheng · 马惠敏

IEEE Transactions on Consumer Electronics 2025

参数信息

准确率提升
1.5
训练数据使用比例
5 %

技术优势

数据需求大降

仅用5%的原始训练数据即可达到更好的效果,大幅降低数据采集和存储成本。

隐式隐私保护

通过数据过滤模块选择代表性样本,避免上传敏感数据,符合边缘场景隐私要求。

性能显著提升

无需微调即可实现新旧模型表示对齐,在测试中准确率提升超过1.5。

应用场景