边云协同,近原精度
针对边缘设备算力不足,利用模型拆分与部分知识蒸馏,在不显著损失精度的前提下缩短推理时间。
Hu, Junjie · 孙丹凤 · 樊谨 · Junwei, Dong · Chen, Baiping · 邬惠峰 · Wu, Jia
IEEE Transactions on Consumer Electronics 2024
部分知识蒸馏在压缩模型的同时,使预测精度接近原模型。
多设备流水线并行推理减少端到端延迟。
模型拆分后插入插件瓶颈层,压缩通信数据并提升通信效率。
按设备数量和网络状态拆分模型,让多台边缘设备参与推理。