零额外计算代价
融合BERT与Speech2Vec的多模态嵌入，并通过对抗多任务学习从词性标注任务迁移句法知识，在不增加推理开销的情况下提升韵律边界预测效果。
易江燕 · Tao, Jianhua · Fu, Ruibo · Wang, Tao · Chu Yuan, Zhang · Wang, Chenglong
IEEE/ACM Transactions on Audio Speech and Language Processing 2023
对抗训练和多模态嵌入使韵律边界预测F1分数最高提升2.95%。
推理时仅使用韵律边界预测分支，不需词性标注或语音特征提取，不增加计算成本。
从预训练BERT和Speech2Vec提取的上下文词嵌入和语音嵌入，能够利用大规模无韵律标注的外部文本和语音数据。