内置注意力门控
将注意力机制无缝集成到GRU单元内部，使网络能够自适应关注序列中的重要部分，增强长期记忆能力。
Niu, Zhaoyang · 仲国强 · 岳国华 · Wang, Lina · Yu, Hui · Ling, Xiao · 董军宇
Neurocomputing 2023
通过新增注意力门控，RAU能够自适应关注序列中的重要部分，而非平等对待所有输入。
注意力门控直接加在GRU单元内部，无需改变整体网络结构即可替换原有循环单元。
在四类任务上与GRU及其他相关模型相比均取得更好结果，证明了模型的泛化能力。