无音频提示调谐器

免音频即适配

仅凭类别名即可高效适配CLAP，零样本识别未见过类别，超越原模型。

Yiming, Li · 王向东 · 刘宏

2024

技术优势

不用音频数据

仅利用类别名称或少量文本提示即可完成适配，摆脱对标注音频的依赖。

零样本能力保留

正则化提示空间以避免过拟合，对未见类别仍保持比原模型更好的迁移性。

性能效率双优

在模型性能和训练效率上均超越其他训练方法。

应用场景

• 音频识别模型适配：无需标注音频即可适配新任务，降低数据获取成本
• 零样本声音分类：保持对未见类别的识别能力，适合开放集场景
• 提示微调：仅优化少量文本提示，训练开销低
• 多模态对齐：利用音频-文本对齐，无需音频即可传递知识