动态专家路由

动态分配专家

根据输入难度动态调整激活专家数量，在提升性能的同时大幅降低计算开销。

Huang, Quzhe · Zhenwei, An · Zhuang, Nan · Mingxu, Tao · Chen, Zhang · Yang, Jin · Xu, Kun · 陈立桅 · Huang, Songfang · 冯岩松

2024

参数信息

平均性能提升

0.7 %

激活参数量占比

90 %

技术优势

简单任务少算

对简单输入激活更少的专家，从而节省计算资源。

复杂任务多算

对需要高级推理的复杂任务分配更多专家，确保性能。

参数更省

激活参数量不足90%，远低于固定路由。

逐层自适应

不同层需要的专家数量不同，为异构MoE设计提供了启示。

应用场景

• 大模型推理加速：按输入难度分配专家，减少平均激活参数，加速推理。
• 自适应计算：根据输入难度动态调整计算量，避免固定开销。
• 资源受限部署：激活参数不足90%，适合计算资源受限的场景。