音乐Transformer预训练模型

钢琴分类任务精度领先

基于BERT掩码语言建模的符号钢琴音乐模型,在旋律提取、速度预测、风格和情感分类上均优于RNN基线。

Chou, Yihui · I-Chun, Chen · Chin-Jui, Chang · Joann, Ching · Yang, Yi-Hsuan

Journal of Creative Music Systems 2024

技术优势

精度更高

在全部四个下游任务上均超过RNN基线,说明BERT式预训练能更好地捕捉音乐中的长程依赖。

通用性强

同一预训练模型可微调用于音符级和序列级多种分类任务,无需为每个任务从头训练。

覆盖两类数据

同时提供针对MIDI乐谱和演奏两个版本的模型,适应不同应用场景的数据特点。

应用场景