异构知识语言模型

用四分之一数据胜过全文预训练

统一处理无结构、半结构和结构化文本，将词、实体、主题知识融于单一预训练模型。

朱洪影 · Peng, Hao · Lyu, Zhiheng · 侯磊 · 李涓子 · Xiao, Jinghui

Expert Systems with Applications 2023

参数信息

预训练数据占比

1/4

下游任务数量

5

技术优势

数据量省四分之三

在旅游领域语料上，用四分之一数据做预训练就能超过用全部数据的普通文本预训练，大幅降低数据收集成本。

多格式文本一并处理

统一建模无结构、半结构和结构化文本，实体和主题信息被显式融入预训练目标，下游任务无需再做格式适配。

应用场景

• 智能问答与客服：旅游问答中混合列表、表格和段落，HKLM 不需按格式拆模型。
• 知识图谱构建：预训练即学习实体和关系，可直接辅助图谱构建和补全。
• 多源文本理解：统一表示不同格式来源，省去多模型集成和格式对齐工作。