语用偏好调优模型

近零代价提升社交推理

通过偏好优化而非监督微调，在保持通用能力的同时显著增强语言模型的社交语用推理，更贴近人类高层次的深层表征。

Shengguang, Wu · Yang, Shusheng · Zhenglun, Chen · 苏祺

2024

参数信息

人类判断相关性

0.85

技术优势

评估更准

直接评估自由形式回复比选择题更贴近人类对语用推理的判断。

调优更稳

在多个语用现象上一致优于监督微调，且不损伤通用能力。

机理可解释

提升源于深层表征，模拟人类高层次思考过程。

应用场景

• 社交机器人交互：提升机器人理解言外之意的能力，减少对显式指令的依赖。
• 对话系统：让对话模型在开放式交流中更准确地把握社交暗示，增强交互自然度。
• 多模态语言模型：增强模型在视觉指代等任务中的心理理论推理能力。