无音频提示调谐器
免音频即适配
仅凭类别名即可高效适配CLAP,零样本识别未见过类别,超越原模型。
Yiming, Li · 王向东 · 刘宏
2024
技术优势
不用音频数据
仅利用类别名称或少量文本提示即可完成适配,摆脱对标注音频的依赖。
零样本能力保留
正则化提示空间以避免过拟合,对未见类别仍保持比原模型更好的迁移性。
性能效率双优
在模型性能和训练效率上均超越其他训练方法。
应用场景
- 音频识别模型适配:无需标注音频即可适配新任务,降低数据获取成本
- 零样本声音分类:保持对未见类别的识别能力,适合开放集场景
- 提示微调:仅优化少量文本提示,训练开销低
- 多模态对齐:利用音频-文本对齐,无需音频即可传递知识
相关科技单元