多任务多注意力转换器

边界感知的生成式NER

把实体边界检测融入生成过程,解码阶段用外部知识库修正实体类型,全面提升复杂实体识别能力。

73819100 · Jiahao, Liu · 唐洪莹 · Wang, Qifan · 徐增林 · Wang, Jingang · 权小军 · Wu, Wei · 李舟军

IEEE/ACM Transactions on Audio Speech and Language Processing 2024

参数信息

F1提升幅度
+0.3 ~ +1.5

技术优势

边界更准

通过分类句内token之间的关系来显式检测实体边界,直接解决生成式模型边界模糊的缺陷。

类型更对

解码时利用外部知识库计算先验实体类型分布,并通过自注意力和交叉注意力融入模型,修正类型映射错误。

长实体不丢

模型在包含长实体的平坦、嵌套、非连续数据集上均取得显著提升,证明对长实体有更好覆盖。

应用场景