高效集成LLM
一种基于奖励蒸馏训练的路由函数，能将查询精准分配给具备相关专业知识的LLM，实现高效集成。
Lu, Keming · Hongyi, Yuan · Runji, Lin · Lin, Junyang · 袁征 · Zhou, Chang · 周靖人
2024
ZOOTER只增加一个轻量路由函数的计算，避免了奖励模型排序中生成多个候选输出的成本。
在26个基准子集上平均优于最佳单一LLM，证明路由能有效组合异构模型的专业能力。
通过基于标签的增强缓解用奖励作为弱监督时的噪声，提高路由函数训练的可靠性。