自动流水线并行推理框架

推理时延更低

通过任务-设备亲和度预测与并行推理调度,针对6G异构硬件环境优化深度学习模型推理效率,比传统并行调度方案在时延、吞吐量、可靠性和设备利用率上均有提升。

Hongjian, Shi · Weichu, Zheng · Zifei, Liu · 马汝辉 · Guan, Haibing

IEEE Journal on Selected Areas in Communications 2023

技术优势

可靠性更好

在提高效率的同时保持可靠性,适合xURLLC等对可靠性要求高的场景。

设备利用率更高

通过任务-设备亲和度预测和调度,能减少设备闲置,提高利用率。

应用场景