推理时延更低
通过任务-设备亲和度预测与并行推理调度,针对6G异构硬件环境优化深度学习模型推理效率,比传统并行调度方案在时延、吞吐量、可靠性和设备利用率上均有提升。
Hongjian, Shi · Weichu, Zheng · Zifei, Liu · 马汝辉 · Guan, Haibing
IEEE Journal on Selected Areas in Communications 2023
在提高效率的同时保持可靠性,适合xURLLC等对可靠性要求高的场景。
通过任务-设备亲和度预测和调度,能减少设备闲置,提高利用率。