多目标对齐DPOC算法

帕累托覆盖更广

通过帕累托支配约束抑制多目标对齐中的偏好冲突，使单一策略学习的帕累托前沿覆盖范围显著优于现有方法。

75419178 · Ban, Yikun · 75419180 · Di, Wu · Zixuan, Huang · 王德庆 · Li, Jianxin · Song, Shuangyong

Neurocomputing 2026

参数信息

目标数

3

技术优势

冲突样本不浪费

每个冲突样本在其原生目标上仍包含有效排序信息，DPOC不是丢弃它，而是按冲突严重程度平滑降权，让信号继续参与训练。

帕累托覆盖更广

在2目标和3目标的安全对齐与助手基准上，DPOC学到的帕累托曲线覆盖范围比现有方法更广，且独立LLM裁判证实提升非奖励模型伪影。

应用场景

• 多目标对齐：让单一策略同时满足安全、有用等多个冲突目标，无需多模型集成。
• 强化学习：作为多目标RLHF的一种稳定训练目标，缓解冲突梯度干扰。
• 大模型微调：端到端微调一个策略模型，输出依偏好向量可控。
• AI安全：将安全作为显式目标纳入对齐，在不牺牲效用下提升覆盖。