多设备协同并行推理方法

边云协同,近原精度

针对边缘设备算力不足,利用模型拆分与部分知识蒸馏,在不显著损失精度的前提下缩短推理时间。

Hu, Junjie · 孙丹凤 · 樊谨 · Junwei, Dong · Chen, Baiping · 邬惠峰 · Wu, Jia

IEEE Transactions on Consumer Electronics 2024

技术优势

精度损失小

部分知识蒸馏在压缩模型的同时,使预测精度接近原模型。

推理时间缩短

多设备流水线并行推理减少端到端延迟。

通信数据压缩

模型拆分后插入插件瓶颈层,压缩通信数据并提升通信效率。

闲置设备变现

按设备数量和网络状态拆分模型,让多台边缘设备参与推理。

应用场景