KANGAROO知识增强表征框架

封闭域语义稀疏补全

同时捕获浅层三元组关系与深层实体类层次结构,并通过子图对比学习生成高质量难负样本,在封闭域少样本下性能显著优于现有知识增强预训练范式。

张桃林 · Xu, Ruyao · Wang, Chengyu · Zhongjie, Duan · Chen, Cen · Qiu, Minghui · 程大伟 · He, Xiaofeng · 钱卫宁

2023

技术优势

全谱知识注入

不仅利用关系三元组捕捉实体间显式关系,还通过双曲嵌入建模实体类的深层层次结构,弥补全局稀疏性,使模型在封闭域中也能获得充分的知识信号。

难负样本提升区分度

利用同一实体类下实体的局部稠密邻接子图,通过对比学习在子图上构造高质量难负样本,使模型更好地区分邻近实体的语义,进一步补全全局语义稀疏。

应用场景