Transformer泛化技术

域外鲁棒声学模型

利用稀疏频率正则化提升Transformer在声音分类中的域外泛化能力。

Honglin, Mu · Wentian, Xia · Che, Wangxiang

2023

参数信息

推理速度提升
20 %

技术优势

推理速度提升

通过在自注意力中限制频率维度的感受野,减少了计算量,从而节省了推理时间。

泛化性能 SOTA

该方法在 TAU 2020 和 Nsynth 数据集上取得了最优的分布外泛化性能。

应用场景