双向量化表示大模型

分类任务显著提效

通过移除因果掩码并引入标签监督，让大语言模型在序列标注和分类任务中同时利用双向上下文，从而获得更强的判别式表示。

Li, Zongxi · Xianming, Li · Li, Jing · Xie H. · Fu Lee, Wang · Li Q.

Information Processing and Management 2026

技术优势

不用提示工程

方法通过直接标签监督和去掩码微调适配LLM，无需设计复杂的提示或示例。

一致超越基线

在文本分类、命名实体识别和常识推理基准上，微调后的模型稳定优于指令微调和基于编码器的方法。

应用场景

• 机器人任务规划：用于解析任务指令中的实体与约束，提升规划准确性。
• 具身智能语义理解：增强对场景描述的双向语义解析，辅助具身代理理解环境。
• 物联网事件抽取：从设备日志和传感数据流中提取事件触发词与参数。
• 生物医学文本挖掘：识别生物医学文献中的实体与关系，加速知识发现。
• 医疗记录信息提取：从非结构化病历中抽取诊断、用药等关键信息。