标签历史注意力分类模型

长尾标签更准

用历史注意力结合标签与文本的细粒度匹配，在长尾多标签分类上表现更稳健。

Sun, Guoying · Cheng, Yanan · Fangzhou, Dong · 王丽宏 · 74031045 · 张兆心 · 佟晓筠

Knowledge-Based Systems 2024

技术优势

长尾标签更准

历史注意力能够减少对高频标签的过拟合，让模型在训练过程中不会因为个别 epoch 的小误差而把稀有标签分错。

过滤无关词

词过滤模块基于词与标签的余弦相似度选取重要词，降低文档中与分类无关词汇对嵌入向量的干扰。

细粒度匹配

通过文档自注意力和标签注意力的协同网络，捕捉词与标签之间的细粒度匹配信号，提升分类精度。

应用场景

• 多标签文本分类：替代传统的多标签分类模型，尤其在数据不平衡场景下提升稀有标签的识别准确率。
• 自然语言处理：作为 NLP 中的多标签分类模块，用于需要同时预测多个类别的文本任务。
• 文本数据挖掘：从大量文本中自动标注多个主题或属性，提高信息抽取的效率。
• 医疗文本分析：对电子病历等临床文本进行多标签分类，辅助疾病编码和风险识别。