位置感知交互式注意力网络

双向交互优于流水线

通过交互注意力与旋转位置编码充分挖掘意图检测与槽位填充两个子任务间的关联,实现双向引导,同时利用MCRF解码器约束槽位标签,缓解槽位不协调问题。

孙鹏飞 · Cao, Han · Hongli, Yu · Cui, Yachao · Lei, Wang

Neurocomputing 2024

技术优势

双向交互互增强

交互注意力机制让意图检测和槽位填充互相引导,而不是单向流动,从而充分挖掘两个子任务间的关联。

位置建模更精准

旋转位置嵌入显式编码词间相对位置,缓解注意力机制对位置信息利用不足的问题,提升整体性能。

槽位约束更一致

MCRF解码器对槽位标签施加约束,减少传统解码器产生的不协调槽位,提高槽位填充的准确性。

性能达最先进

在两个公开多意图SLU数据集上,关键指标均取得最先进性能,证明了模型的有效性。

应用场景