门控注意融合谐波感知网络

歌唱旋律提取

利用门控注意力融合时频谱与波形特征，实现优于现有方法的歌唱旋律提取性能。

于帅 · Yu, Yi · 孙校珩 · 李巍

Neurocomputing 2023

技术优势

捕捉谐波关系

通过沿频率轴使用多个并行一维卷积核，显式建模1-2个八度范围内的谐波关系，增强旋律表征。

融合双分支信息

通过门控注意力融合网络对波形和时频谱分支的特征进行加权融合，编码潜在相关性，提取更具判别力的表征。

超越现有方法

在ADC 2004、MIREX 05和MedleyDB数据集上的实验表明，所提方法性能优于现有最优方法。

应用场景

• 音乐信息检索：提升自动记谱和人声分离效果。
• 音频信号处理：提供更好的时频特征融合方法。