知识增强Transformer

F1最高提升47.83%

通过浅层融合领域关键词与深层融合同义词集,同时扩展样本并处理类别不平衡,显著提升药物不良反应检测性能。

Yunzhi, Qiu · 张晓堃 · Weiwei, Wang · Zhang, Tongxuan · 徐博 · 林鸿飞

Lecture Notes in Computer Science 2023

参数信息

F1相对提升
47.83 %
F1相对提升
4.87 %
F1相对提升
5.73 %

技术优势

挖掘关键词关联

通过浅层融合将领域关键词信息注入Transformer,使模型充分利用其与上下文词的交互,提升对ADR表述的理解。

扩充训练样本

通过深层融合同义词集增加样本多样性,缓解社交媒体标注数据不足的问题。

缓解类别不平衡

使用焦点损失函数替代标准交叉熵,降低易分类样本的权重,使模型聚焦于难分的ADR案例。

应用场景