分布式专家混合系统

异构训练更高效

MoESys通过弹性训练策略和融合通信，在异构系统上实现高效的大规模训练与推理，特别在内存受限的单节点上也能有效推理超大模型。

Yu, Dianhai · Liang, Shen · Hongxiang, Hao · Gong, Weibao · Huachao, Wu · Bian, Jiang · 戴礼荣 · 熊昊一

IEEE Transactions on Services Computing 2024

参数信息

训练时间

8 days

性能优势任务数

33

技术优势

训练更快

弹性MoE训练配合2D预取与融合通信，提升并行效率。

超越现有系统

在33个不平衡MoE任务上表现优于DeepSpeed。

应用场景

• 大规模深度学习训练：用MoESys高效训练数十亿参数模型，降低训练成本。
• 智能服务系统：为聊天机器人、搜索引擎等互联网服务提供更低成本的训练和推理。
• 分布式异构计算：在异构硬件上做负载均衡和通信融合，提升集群利用率。