提出多模态检索模型YuYin，结合情感与音频特征，提升电商广告背景音乐推荐效果。
Le, Ma · Wu, Xinda · Ruiyuan, Tang · Chongjun, Zhong · 张克俊
Eurasip Journal on Audio, Speech, and Music Processing 2023
模型能根据视频内容自动检索合适的背景音乐，替代人工筛选，减少时间和专业要求。
构建了包含主要电商类别的 Commercial-98K 数据集，为模型训练和评估提供基础。
加权融合模块结合情感特征和音频特征，获得更细腻的音乐表示，提升检索精度。
通过跨匹配视频、音乐和标签以及类别预测任务，利用同类别音乐的相似性增强视频与音乐的关联学习。